软件学报

作者：申朕，崔超然，董桂鑫，余俊，黄瑾，尹义龙

单位：申朕，山东大学 软件学院, 山东 济南 25010111,崔超然，山东财经大学 计算机科学与技术学院, 山东 济南 25001402,董桂鑫，山东财经大学 计算机科学与技术学院, 山东 济南 25001403,余俊，Department of Computer Science and Engineering, Lehigh University, Bethlehem PA 18015, USA04,黄瑾，山东大学 软件学院, 山东 济南 25010105,尹义龙，山东大学 软件学院, 山东 济南 25010106

关键词：图像美学评价;图像情感分析;深度多任务学习;自适应特征交互模块;任务间梯度平衡策略

基金：国家自然科学基金（61701281，61876098）；国家重点研发计划（2018YFC0830100，2018YFC0830102）；山东省高等学校优势学科和人才团队培育计划

图像美学评价和情感分析任务旨在使计算机可以辨认人类由受到图像视觉刺激而产生的审美和情感反应.现有研究通常将它们当作两个相互独立的任务.但是，人类的美感与情感反应并不是孤立出现的；相反，在心理认知层面上，两种感受的出现应是相互关联和相互影响的.受此启发，采用深度多任务学习方法在统一的框架下处理图像美学评价和情感分析任务，深入探索两个任务间的内在关联.具体来说，提出一种自适应特征交互模块将两个单任务的基干网络进行关联，以完成图像美学评价和情感分析任务的联合预测.该模块中引入了一种特征动态交互机制，可以根据任务间的特征依赖关系自适应地决定任务间需要进行特征交互的程度.在多任务网络结构的参数更新过程中，根据美学评价与情感分析任务的学习复杂度和收敛速度等差异，提出一种任务间梯度平衡策略，以保证各个任务可以在联合预测的框架下平衡学习.此外，构建了一个大规模的图像美学情感联合数据集UAE.据已有研究，该数据集是首个同时包含美感和情感标签的图像集合.本模型代码以及UAE数据集已经公布在https://github.com/zhenshen-mla/Aesthetic-Emotion-Dataset.

来源：2023年第5期

《软件学报》期刊编辑部

查看软件学报杂志2023年第5期