软件学报

作者：蒲勇霖，于炯，鲁亮，李梓杨，卞琛，廖彬

单位：蒲勇霖，新疆大学 信息科学与工程学院, 新疆 乌鲁木齐 83004611,于炯，新疆大学 信息科学与工程学院, 新疆 乌鲁木齐 83004602,鲁亮，中国民航大学 计算机科学与技术学院, 天津 30030003,李梓杨，新疆大学 信息科学与工程学院, 新疆 乌鲁木齐 83004604,卞琛，广东金融学院 互联网金融与信息工程学院, 广东 广州 51052105,廖彬，新疆财经大学 统计与数据科学学院, 新疆 乌鲁木齐 83001206

关键词：大数据;流式计算;实时性;资源约束;数据迁移;能耗

基金：国家自然科学基金（61862060，61462079，61562086，61562078）；新疆维吾尔自治区研究生科研创新项目（XJ2019G038）；新疆大学博士生科技创新项目（XJUBSCX-201902）

作为流式大数据计算的主要平台之一，Storm在设计过程中由于缺乏节能的考虑，导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束，可能会对集群的实时性造成影响.针对这一问题，设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略（energy-efficient strategy based on executor reallocation and data migration in Storm，简称ERDM），包括资源约束算法与数据迁移算法.其中，资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率，判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型，设计了数据迁移的最优化方法.此外，ERDM通过分配线程减少了节点间的通信开销，并根据大数据流式计算的性能与能效评估ERDM.实验结果表明，与现有研究相比，ERDM能够有效降低节点间通信开销与能耗，并提高集群的性能.

来源：2021年第8期

《软件学报》期刊编辑部

查看软件学报杂志2021年第8期