国内刊号:11-2560/TP
国际刊号:1000-9825
发布日期:
作者:朱渝珊,张文,王晓珂,李志宇,陈名杨,姚祯,陈辉,陈华钧
单位:朱渝珊,浙江大学 计算机科学与技术学院, 浙江 杭州 31001211,张文,浙江大学 软件学院, 浙江 宁波 31504802,王晓珂,阿里巴巴集团, 浙江 杭州 31112103,李志宇,阿里巴巴集团, 浙江 杭州 31112104,陈名杨,浙江大学 计算机科学与技术学院, 浙江 杭州 31001205,姚祯,浙江大学 软件学院, 浙江 宁波 31504806,陈辉,阿里巴巴集团, 浙江 杭州 31112107,陈华钧,浙江大学 计算机科学与技术学院, 浙江 杭州 31001208
关键词:知识图谱;知识图谱预训练;增量学习;知识蒸馏
基金:国家自然科学基金(62306276, U23B2055, U19B2027, 91846204); 浙江省自然科学基金(LQ23F020017); 宁波市自然科学基金(2023J291)
知识图谱(knowledge graph, KG)预训练模型有助于电子商务应用中各种下游任务, 然而, 对于具有高动态性的大规模电商社交知识图谱来说, 预训练模型需要及时更新以感知由用户交互引起的节点特征变化. 提出一种针对电商社交知识图谱预训练模型的高效增量学习方法, 该方法通过基于双向模仿蒸馏的训练策略充分挖掘不同样本对模型更新的作用, 并通过基于样本常规性和反常性的采样策略来减少训练数据规模, 提升模型更新效率. 此外, 还提出一种逆重放机制, 为社交知识图谱预训练模型的增量训练生成高质量的负样本. 在真实的电子商务数据集和相关下游任务上的实验结果表明, 相较于最先进的方法, 所提方法可以更有效且高效地增量更新社交知识图谱预训练模型.
来源:2025年第3期
《软件学报》期刊编辑部