TMGM官网:专家表示,OpenAI 视频生成器 Sora 存在助长宣传和偏见的风险
发布时间: 2024-02-19
浏览量:126
Sora 根据用户提示创作长达一分钟的视频,就像ChatGPT通过书面回复来响应输入以及 Dall-E 提供图像一样。
OpenAI在周四的一份声明中表示,该视频生成器目前由一组产品测试人员使用,但尚未向公众开放。
专家告诉美国广播公司新闻,这些产品具有改善和简化视频叙事的潜力,但它们也可能加剧互联网错误信息并加强政府宣传,模糊在线真实内容和虚假内容之间本已模糊的界限。
他们补充说,与此同时,人工智能生成的视频可能会强化从基础培训材料中获得的仇恨或偏见观点,而正是这些培训材料使他们的创作成为可能。
西北大学研究人工智能的计算机科学教授克里斯蒂安·哈蒙德 (Kristian Hammond) 告诉美国广播公司新闻 (ABC News):“我们认为通过录制的照片和视频所获得的真相的清晰度已经消失了。” “我们无意中建立了一个宣传引擎的世界。”
在回应 ABC 新闻的置评请求时,OpenAI 指出了一个网页,该网页概述了该公司为防止滥用 Sora 所采取的措施。
该公司网站称:“在 OpenAI 的产品中使用 Sora 之前,我们将采取几个重要的安全措施。” “我们正在与红队成员合作,他们是错误信息、仇恨内容和偏见等领域的领域专家,他们将以对抗性方式测试该模型。”
该网站称,该公司计划在其图像生成器 Dall-E 中使用一些已经在宫殿中使用的安全功能,包括一种监管文本提示的工具,以确保它们不会违反针对“极端暴力、性内容、仇恨图像、名人肖像”的规定。 ,或其他人的IP。”
接受美国广播公司新闻采访的专家强调了评估尚未向公众发布的演示产品的困难。然而,他们对滥用视频生成器的机会和实施全面有效的保障措施的挑战发出了警报。
“事件的真实图像会影响人们对现实世界中正在发生的事情的假设,并且可以用来欺骗人们,”见证者组织的执行董事萨姆·格雷戈里说,该组织旨在确保使用视频来保护人权,告诉美国广播公司新闻。
最近几周,人工智能生成的内容带来的风险引起了广泛关注。
一月下旬,人工智能生成的流行歌星泰勒·斯威夫特 (Taylor Swift) 的虚假色情图片在社交媒体上疯传,获得了数百万次观看。上个月,一个冒充总统乔·拜登声音的虚假机器人电话阻止了人们在新罕布什尔州初选中投票。
专家们赞扬了 OpenAI 为禁止滥用 Sora 而采取的措施。但他们警告称,该产品可能会制造深度伪造的视频,而且阻止此类视频的难度也很大。
纽约大学名誉教授、《重启》一书的作者加里·马库斯说:“他们可能会设置一个过滤器,说‘不要生成任何泰勒·斯威夫特的视频’,但人们会找到解决方法。”人工智能,”告诉美国广播公司新闻。
与其他生成型人工智能产品一样,Sora 接受了大量在线数据的训练,因此很容易受到广泛复制的偏见的影响,例如种族和性别刻板印象。
哈蒙德说:“社会中存在偏见,这些偏见将反映在这些系统中。”
在线声明称,除了审核视频提示和生成的内容外,OpenAI 还计划实施一个“检测分类器”,可以识别 Sora 何时制作视频。该公司表示,它还将包括一个广受认可的数字标签,本质上相当于数字水印。
这种预防措施赢得了专家的掌声,但他们警告说,视频可能会被复制或修改,作为去除标签的手段。
哈蒙德说:“人们会试图绕过已安装的护栏。”“这是一场军备竞赛。”
以上信息内容由tmgm官网搜集整理,不对新闻内容负法律责任,并不作为投资依据和建议,请tmgm官网受众谨慎决策,避免损失。TMGM官网感谢您的观看!