软件学报

作者：左然，胡皓翔，邓小明，马翠霞，王宏安

单位：左然，人机交互北京市重点实验室 (中国科学院 软件研究所 ), 北京 100190;中国科学院大学 计算机科学与技术学院, 北京10004911,胡皓翔，人机交互北京市重点实验室 (中国科学院 软件研究所 ), 北京 100190;中国科学院大学 计算机科学与技术学院, 北京10004902,邓小明，人机交互北京市重点实验室 (中国科学院 软件研究所 ), 北京 10019003,马翠霞，人机交互北京市重点实验室 (中国科学院 软件研究所 ), 北京 100190;中国科学院大学 计算机科学与技术学院, 北京10004904,王宏安，人机交互北京市重点实验室 (中国科学院 软件研究所 ), 北京 100190;中国科学院大学 计算机科学与技术学院, 北京10004905

关键词：人机交互;手绘草图;视觉内容生成;深度学习

基金：国家自然科学基金(62272447); 北京市自然科学基金(4212029); 2019年牛顿奖中国奖(NP2PB/100047)

手绘草图通过绘制简单的线条直观呈现用户的创作意图, 支持用户采用手绘的方式快速表达思维过程及设计灵感, 创作目标图像或视频. 随着深度学习的发展, 基于草图的视觉内容生成通过学习草图和视觉对象(即图像和视频)的特征分布进行跨领域特征映射, 实现图像自动生成草图以及草图自动生成对应的图像或视频, 与传统的人工创作方式相比有效地提高了生成的效率和多样性, 成为计算机视觉、图形学领域的重要研究方向, 并且在设计、视觉创作等领域具有重要作用. 综述基于草图的视觉内容生成深度学习方法的研究现状和发展趋势, 按照视觉对象的不同将现有工作分为基于草图的图像生成和基于草图的视频生成方法, 并结合草图和视觉内容跨域生成、风格转化、视觉内容编辑等任务对生成模型进行详细分析, 然后比较和总结常用的数据集、针对草图数据不足提出的扩充方法以及生成模型的评估方法, 进一步通过草图在视觉内容生成应用中面临的挑战及生成模型未来发展方向对研究趋势进行展望.

来源：2024年第7期

《软件学报》期刊编辑部

查看软件学报杂志2024年第7期