软件学报

作者：丁家满，李海滨，邓斌，贾连印，游进国

单位：丁家满，昆明理工大学 信息工程与自动化学院, 云南 昆明 650504;云南省人工智能重点实验室, 云南 昆明 65050411,李海滨，昆明理工大学 信息工程与自动化学院, 云南 昆明 650504;云南省人工智能重点实验室, 云南 昆明 65050402,邓斌，昆明理工大学 信息工程与自动化学院, 云南 昆明 650504;云南省人工智能重点实验室, 云南 昆明 65050403,贾连印，昆明理工大学 信息工程与自动化学院, 云南 昆明 650504;云南省人工智能重点实验室, 云南 昆明 65050404,游进国，昆明理工大学 信息工程与自动化学院, 云南 昆明 650504;云南省人工智能重点实验室, 云南 昆明 65050405

关键词：频繁项集;模式增长;位串;位运算;垂直分组;Spark

基金：国家自然科学基金（61562054）

如何在海量数据集中提高频繁项集的挖掘效率是目前研究的热点.随着数据量的不断增长，使用传统算法产生频繁项集的计算代价依然很高.为此，提出一种基于Spark的频繁项集快速挖掘算法（fast mining algorithm of frequent itemset based on spark，Fmafibs），利用位运算速度快的特点，设计了一种新颖的模式增长策略.该算法首先采用位串表达项集，利用位运算来快速生成候选项集；其次，针对超长位串计算效率低的问题，考虑将事务垂直分组处理，将同一事务不同组之间的频繁项集通过连接获得候选项集，最后进行聚合筛选得到最终频繁项集.算法在Spark环境下，以频繁项集挖掘领域基准数据集进行实验验证.实验结果表明所提方法在保证挖掘结果准确的同时，有效地提高了挖掘效率.

来源：2023年第5期

《软件学报》期刊编辑部

查看软件学报杂志2023年第5期