我院在人机协同创作系统研究方面取得进展

      AIGC和具身智能的时代，机器人与人协作能做什么？最新的尝试是一起画画儿。

      让机器人像人类一样创作是一项有趣但具有挑战性的任务。近年来，受生成式人工智能技术推动，艺术机器人研究取得了巨大进展。目前，机器人可以根据用户给定的图文输入创建水彩画、油画和白描等多种风格的绘画。但是，用户和机器人的交互仍然是单向、单次的。

      针对上述问题，李鹏副研究员及其团队提出了一种新型的人类机器人互动创作（HRICA）框架，支持机器人自主提取作品语义信息并进行创作，实现用户与机器人多轮交互绘画，共同创建艺术作品。团队搭建了由绘图机器人、画板、相机、界面组成的交互式绘图系统。为了提高机器人的理解与创作能力，研究团队构建了首个带有海量标签的开源肖像线条画数据集，可用于肖像画的生成以及人脸语义分析或深度估计，为人机自然交互贡献了最新的基础设施。团队还提出了几何感知肖像画修复（GAPDI）算法，由一个语义预测器和两个堆叠式生成网络组成。

      相关研究成果以“Human-Robot Interactive Creation of Artistic Portrait Drawings”为题被机器人领域顶级学术会议ICRA 2024接收。研究工作得到南京市重大科技专项的支持。