我院在人工智能安全治理研究方面取得进展
近日，我院与鹏城实验室、新加坡国立大学、中国科学院软件研究所、美国纽约州立大学石溪分校、澳大利亚莫纳什大学、新加坡南洋理工大学联合研究团队在AI歌曲翻唱的主动治理方面取得进展。团队针对基于歌声转换的歌曲非法翻唱提出了一种“先发制人”的主动式治理方案SongBsAb，其核心思路是在歌曲中加入不影响人类听觉的扰动，当这些受保护的歌曲被用作歌声转换的输入时，生成过程会受到干扰，导致输出的翻唱歌曲同时在歌手歌声以及歌词两方面偏离预期。相关成果论文《SongBsAb: A Dual Prevention Approach against Singing Voice Conversion based Illegal Song Covers》发表于网络安全领域顶级会议NDSS 2025，论文通讯作者为宋富研究员。
歌声转换（Singing Voice Conversion, SVC）技术可以将一名歌手的演唱自动转换为另一名歌手的声线风格，同时保留原曲的歌词和旋律。这意味着即使普通用户不会唱歌，也能利用SVC生成顶级歌手的“翻唱”版本。虽然SVC技术带来创作便利，但是这一技术的低门槛也带来了版权与民事权利的新风险，对音乐行业造成巨大冲击。
针对上述问题，该工作提出了首个主动防御SVC滥用的技术方案SongBsAb。与传统在侵权发生后事后检测不同，SongBsAb在歌曲发布前对歌曲人声添加精心设计的微小扰动，从源头上阻止非法翻唱行为。其具体方案是引入身份扰动、歌词扰动两类扰动目标：
身份扰动：防止受保护歌曲被用作目标歌曲。针对SVC的身份编码器生成对抗扰动，使得SVC模型生成的翻唱歌曲听起来不像目标歌手，甚至听起来像异性歌手的声音，从而保护目标歌手的民事权利。
歌词扰动：防止受保护歌曲被用作源歌曲。针对SVC的歌词编码器生成对抗扰动，使得SVC模型生成的翻唱歌曲的歌词含糊不清或偏离原始歌词，从而保护歌词版权。
通过以上双重扰动，SongBsAb可以直接保护歌手对于自己歌声的民事权以及歌词的版权，其他权利（如歌曲的版权、歌曲的复制发行权）可以得到间接保护，因为SongBsAb会显著削弱歌声转换的效果，从而抑制基于SVC的翻唱作品的发布、传播和SVC工具的使用。
图1：SongBsAb示意图-1
图2：SongBsAb示意图-2（可与图1进行直观对比）
团队在中文歌声数据集OpenSinger以及英文歌声数据集NUS-48E上，对主流的4个few-shot SVC模型（Lora-SVC、VITS-SVC、Grad-SVC、NeuCo-SVC）进行了全面测试。实验结果表明，SongBsAb显著削弱了SVC效果：被保护歌曲经转换后与目标歌手的歌声相似度大幅下降，歌词错误率显著上升，使得翻唱的成功率降低超过97%。与之前针对普通语音转换的防御方法相比，SongBsAb在防护效果和保持歌曲音质上均有明显优势。
SongBsAb将主动防御理念引入SVC非法翻唱领域，提出了防止音乐作品被AI滥用的方案，该方法从技术上提出了对抗SVC的“双扰动”框架，为音乐版权保护提供了新的思路。