软件学报

作者：张文涛，苑斌，张智鹏，崔斌

单位：张文涛，高可信软件技术教育部重点实验室(北京大学), 北京 100871;腾讯科技(北京)有限公司数据平台部, 北京 10019311,苑斌，高可信软件技术教育部重点实验室(北京大学), 北京 10087102,张智鹏，高可信软件技术教育部重点实验室(北京大学), 北京 10087103,崔斌，高可信软件技术教育部重点实验室(北京大学), 北京 10087104

关键词：分布式机器学习;图嵌入;网络优化

基金：国家重点研发计划（2018YFB1004403）；国家自然科学基金（61832001）；北京大学-腾讯协同创新实验室项目

随着人工智能时代的到来，图嵌入技术被越来越多地用来挖掘图中的信息.然而，现实生活中的图通常很大，因此，分布式图嵌入技术得到了广泛的关注.分布式图嵌入算法面临着两大难点：（1）图嵌入算法多种多样，没有一个通用的框架能够描述大部分的算法；（2）现在的分布式图嵌入算法扩展性不足，当处理大图时性能较低.针对以上两个挑战，首先提出一个通用的分布式图嵌入框架，具体地，将图嵌入算法中的采样流程和训练流程进行解耦，使得框架能够较好地表达多种不同的算法；其次，提出一种基于参数服务器的模型切分嵌入策略，具体地，将模型分别切分到计算节点和参数服务器上，同时使用数据洗牌的操作保证计算节点之间没有模型交互，从而减少了分布式计算中的通信开销.基于参数服务器实现了一种原型系统，并且用充分的实验证明了在不损失精度的前提下，基于模型切分的策略能够比基线系统取得更好的性能.

来源：2021年第3期

《软件学报》期刊编辑部

查看软件学报杂志2021年第3期