5月20日，威尼斯87978797第255期学术沙龙在威尼斯87978797汽车研究所301成功举办，中科院自动化所模式识别国家重点实验室研究员赫然博士受邀参加此次沙龙，作题为“图像及视频的AI合成与鉴别”的报告。赫然回顾了当前图像视频合成的现状及应用，随后对合成技术和鉴别技术分别进行了介绍。

赫然博士做报告

赫然博士介绍：“当前我们看到的图像、视频主要为智能合成的结果，它极大丰富了人们的娱乐生活，同时也对国家安全带来了重大影响，形成了一个矛盾的对抗系统。基于人工智能合成的技术被称为深度合成技术，该技术使用生成式模型在现有数据基础上产生一个联合概率分布，并对生成的分布进行采样以获得新的图像数据。2015年，生成对抗网络模型作为一项突破性的工作被提出，该技术将生成的分布和真实的分布进行判别和对抗，直至达到纳什均衡。这项技术赋予机器类似想象和创造的能力，同时也成为一种造假的能力，即深度伪造的能力。随着该领域的快速发展，当前图像和视频的合成效果越来越逼真，操作日益方便，被广泛应用于影视娱乐领域，如明星换脸、电影制作、美颜、游戏场景渲染等，深刻改变了娱乐行业的发展；同时该技术也被不法分子用于深度伪造，如伪造国家领导人、科学家等公众人物发言、进行诈骗和色情行业服务，对国家安全和社会稳定带来挑战。”

赫然博士随后对当前主要的深度合成技术进行了介绍，分享了团队研究成果。“深度合成主要是利用人工智能技术对数字媒体内容进行自动的合成和编辑的技术，相关的合成和编辑技术早已存在，但人工智能使得整个的过程自动化；深度伪造则是以伪造人体为主的视觉内容并达成欺骗目的合成技术，具有负面意义。无论深度合成还是深度伪造，都需要对数据进行学习，包括预处理得到单帧图像，提取和规划需要合成的区域，利用深度学习模型对该区域进行相应的替换。由于合成具有对数据的依赖性，因此向数据集中添加细微的干扰可能导致模型出错，即对抗样本，这对合成技术的安全性构成了挑战。在合成技术的应用方面，赫老师分享了团队在异质换脸、图像替换中对场景光线的处理、人物表情驱动影像以及声音驱动影像、场景替换等前沿领域的工作，相关成果均发表在CVPR等顶级会议上。”

赫然博士进一步介绍了鉴别技术的发展和团队在相关研究上的工作。鉴别作为与合成技术相互博弈的技术，是人工智能安全领域的一个重要方向。随着合成效果日益逼真，鉴别技术被用于对合成影像进行判断和溯源，得到国家和各部委的重视。鉴别技术主要对合成过程中留下的痕迹和瑕疵对图像的真实性进行判断，例如尽管合成视频在时域上较为逼真，但在频域上可能存在许多拼接的现象；在图像边界等位置上光照的不一致也可作为鉴别的考虑因素；此外视频拍摄抖动造成的光线闪烁、视频内容的语义识别、图像中人眼等细节处的光斑等被用于图像鉴别技术的开发。赫老师团队所开发的一个轻量级计算框架在鉴别领域形成了一定的影响力，目前相关文章已经得到600多次引用。除了对深度伪造图像的鉴别，一些算法还能结合对抗样本对智能系统进行攻击，但鉴别算法在对抗干扰的防御能力尚且较弱；此外由于人工智能对数据的依赖，可信的数据集也成为普遍关注的问题，这些问题都对鉴别技术的可靠性带来新的挑战。

本次学术沙龙活动由车辆学院副院长李升波主持，线上线下共吸引了100余名师生前来参加。参会师生随后就合成图像效果的评价，对抗样本的生成，轻量级计算框架的激活函数和特征提取，生成对抗网络的参数调整，图像增强等方面与主讲嘉宾进行了的交流，赫然博士结合个人学识与研究经验对上述问题进行了详细的解答。

【赫然博士简介】

赫然博士为中国科学院自动化研究所模式识别国家重点实验室研究员，中国科学院特聘研究员，IAPR Fellow。其团队主要从事模式识别应用基础研究，依托信息理论探索多媒体数据的内容压缩、交换、表示和生成机理，提出了轻量卷积神经网络架构(LightCNN)、表象最优传输模型和信息瓶颈解耦模型等，并应用到计算机视觉、生物特征识别、深度合成和人工智能安全，获得XXX生成竞赛冠军，所研制的图像表示和生成技术在华为、美团、京东等取得应用。出版信息理论学习专著1部；在IEEE TPAMI(影响因子: 17.86)第一作者发表论文5篇，研究工作获IAPR ICPR Best Scientific Paper Award(2020)、IEEE SPS Young Author Best Paper Award(2020)、IAPR/IEEE ICB Honorable Mention Paper Award(2019)和北京青年优秀科技论文一等奖(2015)，受到国家自然科学基金优秀青年科学基金、北京自然科学基金杰出青年科学基金和中科院青年促进会优秀会员等项目资助。权威期刊《Pattern Recognition》和《自动化学报》编委、国际会议NeurIPS2021等Area Chairs。