Zoom 即将推出AI 头像定制新功能,但可能存在风险

Zoom 自定义头像功能的模型。 图片来源: Zoom

日前,Zoom 的年度开发者大会上宣布了即将推出的功能,该功能将把用户录制的自己的视频片段转换成数字克隆体,包括头部、上臂和肩膀。用户可以输入脚本,写下他们希望数字人像说的话,Zoom 将生成与虚拟形象的唇部动作同步的音频。

Zoom 首席产品官斯米塔·哈希姆 (Smita Hashim) 告诉 媒体,自定义头像旨在帮助人们以“更快、更高效”的方式与同事“异步”聊天。

哈希姆  表示:“虚拟形象可以帮助用户节省录制视频的宝贵时间和精力,并使他们能够扩大视频创作规模。”

然而,它们也可能带来深度伪造的风险。

许多公司已经开发出人工智能技术,以数字方式“克隆”人的脸部,并将克隆的脸部与听起来相当自然的合成语音配对。例如,Tavus帮助品牌为个性化视频广告创建虚拟人物,微软去年推出了一项服务,可以为人生成令人信服的数字替身。

但许多此类工具都实施了具体的、严格的保护措施,以防止滥用。Tavus 要求提供口头同意声明,微软则要求其客户获得任何特色头像人才的书面许可和同意。

Zoom目前对其安全措施的表述比较模糊。

哈希姆指出,Zoom 的使用政策禁止滥用,并表示公司正在其自定义头像功能中构建“众多保护措施”,包括“高级身份验证”和水印。

哈希姆表示:“我们将继续审查并根据需要在未来增加保障措施。我们采用(…)技术来明确显示视频片段是否由虚拟形象生成,以及(…)帮助确保虚拟形象生成内容的完整性。”

Zoom 的数字形象与首席执行官袁征的目标相一致,即创建未来有一天可以在 Zoom 会议上为您发言、回复电子邮件和接听电话的人工智能。

但这些相似之处出现的时候,深度伪造正在社交媒体上像野火一样蔓延,使得区分真相和虚假信息变得更加困难。

今年到目前为止,以 总统乔·拜登、泰勒·斯威夫特和副总统卡马拉·哈里斯为主角的深度伪造视频已经获得了数百万的观看和转发。最近,在飓风海伦过后 ,虚假的人工智能生成的破坏和人类苦难图像充斥着网络。

Leave a Comment

您的邮箱地址不会被公开。 必填项已用 * 标注