Openai的虚假新闻警告如何触发实际的虚假新闻

非盈利性AI研究实验室OpenAI上个月推出了一种称为GPT-2的最先进的文本生成AI，引发了一波AI启示恐慌。 但是，在庆祝GPT-2取得的成就时，OpenAI宣布不会向公众发布其AI模型，因为担心以错误的方式使用GPT-2可能会用于恶意目的，例如产生误导性新闻报道，在网上冒充他人，并自动在社交媒体上制作虚假内容。

可以预见的是，OpenAI的公告引起了轰动性的新闻报道，但是尽管可以将任何先进技术武器化，但AI在掌握文本生成方面还有很长的路要走。 即使那样，制造假新闻危机也要花费比生成文本的人工智能更多的时间。 因此，OpenAI的警告被夸大了。

人工智能与人类语言

计算机在历史上一直在努力处理人类语言。 书面文本具有如此众多的复杂性和细微差别，以至于几乎不可能将所有这些转换成经典的软件规则。 但是深度学习和神经网络的最新进展为采用另一种方法来创建可以处理与语言相关的任务的软件铺平了道路。

深度学习在诸如机器翻译，文本摘要，问题回答和自然语言生成等领域带来了巨大的进步。 它使软件工程师可以通过分析许多示例来创建算法来开发自己的行为。 对于与语言相关的任务，工程师为神经网络提供数字化内容，例如新闻报道，维基百科页面和社交媒体帖子。 神经网络仔细比较数据，并记下某些单词在重复序列中如何跟随其他单词。 然后，他们将这些模式转换成复杂的数学方程式，以帮助他们解决与语言相关的任务，例如预测文本序列中的遗漏单词。 通常，您提供给深度学习模型的训练数据越多，执行任务的效果就越好。

根据OpenAI，GPT-2已在800万个网页和数十亿个单词上进行了训练，远远超过其他类似模型。 它还使用高级AI模型来更好地应用文本模式。 GPT-2的示例输出显示，该模型设法在比其先前版本更长的文本序列中保持连贯性。

但是，尽管GPT-2在自然语言生成领域迈出了一步，但对于创建能够理解书面文字含义和上下文的AI而言，这并不是技术突破。 GPT-2仍在使用算法来创建单词序列，这些单词序列在统计上类似于之前看到的数十亿个文本摘录-绝对不了解其生成的内容。

在深入的分析中，ZDNet的Tiernan Ray指出了GPT-2的输出样本带有众所周知的工件（例如术语重复以及事实缺乏逻辑和一致性）出卖其人造性质的几种情况。 Ray指出：“当GPT-2着手处理需要进一步发展思想和逻辑的写作时，分歧就相当广泛。”

统计学习可以帮助计算机生成语法正确的文本，但是需要更深入的概念理解才能保持逻辑和事实的一致性。 不幸的是，这仍然是当前人工智能无法克服的挑战。 这就是为什么GPT-2可以生成漂亮的文本段落，但是可能难以产生真实的长篇文章，或者长时间以令人信服的方式冒充他人。

为什么AI假新闻恐慌被夸大了

OpenAI推理的另一个问题：它假设AI会造成假新闻危机。

2016年，一群马其顿青少年向数百万人散布了有关美国总统大选的虚假新闻报道。 具有讽刺意味的是，他们甚至没有适当的英语能力。 他们在网络上找到他们的故事，并将不同的内容拼在一起。 他们之所以成功，是因为他们创建的网站看起来真实可信，足以说服访问者将其视为可靠的新闻来源。 其余的内容包括耸人听闻的标题，社交媒体用户的疏忽和趋势算法。

然后在2017年，恶意分子通过入侵卡塔尔国营新闻网站和政府社交媒体帐户并代表卡塔尔埃米尔谢赫·塔米姆·本·哈马德·阿勒塔尼（Sheikh Tamim bin Hamad Al Thani）发表虚假言论，在波斯湾地区引发了外交危机。

正如这些故事所表明的那样，假新闻活动的成功取决于建立（和背叛）信任，而不是产生大量连贯的英文文本。

不过，OpenAI关于自动制作要在社交媒体上发布的假内容的警告更为必要，因为与传统媒体相比，规模和数量在社交网​​络中的作用更为重要。 假设是，像GPT-2这样的AI能够向社交媒体投放数以百万计的关于特定主题的独特帖子，从而影响趋势算法和公开讨论。

但是，这些警告仍未实现。 在过去的几年中，社交媒体公司一直在不断开发检测和阻止自动行为的功能。 因此，配备了文本生成AI的恶意行为者将不得不克服创建独特内容之外的许多挑战。

例如，他们将需要成千上万个虚假的社交媒体帐户来发布其AI生成的内容。 更加困难的是，为确保无法连接假帐户，他们将需要为每个帐户使用唯一的设备和IP地址。

情况变得更糟：必须在不同的时间（可能需要一年或更长时间）创建帐户，以减少相似性。 去年， 《纽约时报》的 一项调查显示，仅创建帐户的日期就可以帮助发现机器人帐户。 然后，为了进一步向其他用户和策略算法隐藏他们的自动化性质，这些帐户将不得不进行类似于人的行为，例如与其他用户进行交互并在他们的帖子中设置独特的语气。

这些挑战中没有一个是无法克服的，但它们表明，内容只是社交媒体虚假新闻活动中进行工作的一部分。 同样，信任起着重要的作用。 与一些产生大量内容的未知帐户相比，一些值得信赖的社交媒体影响者张贴一些虚假新闻帖子会产生更大的影响。

捍卫OpenAI的警告

具有讽刺意味的是，OpenAI夸张的警告引发了媒体大肆宣传和恐慌的循环，讽刺的是，虚假新闻本身与之毗邻，引发了著名AI专家的批评。

他们通过媒体禁令邀请媒体人士尽早获得结果，并在同一天将其全部公开。 我认识的任何研究人员都没有看到这种大型模型，但记者确实如此。 是的，他们故意炸毁了它。

-Matt Gardner（@nlpmattg）2019年2月19日

每个新人类都有可能被用来制造假新闻，传播阴谋论并影响人们。

那我们应该停止生育吗？

-Yann LeCun（@ylecun）2019年2月19日

只是想给大家一个提示，我们的实验室在语言理解方面发现了惊人的突破。 但我们也担心它可能落入错误的手中。 因此我们决定取消它，而只发布常规* ACL内容。 尊重团队的出色工作。

-（（（？（）（？（）'yoav）））））（@yoavgo）2019年2月15日

AI研究人员和《近似正确》的编辑Zachary Lipton指出了OpenAI的历史：“利用他们的博客和极大的关注力将弹射未成熟的作品公开化，并经常在尚未涉及知识分子的工作中扮演人类的安全方面。双腿站立。”

尽管OpenAI因其误导性言论而受到所有批评和热烈欢迎，但即使该公司使用了不负责任的方式来教育公众，也应该真正担心其技术的恶意使用，这也是正确的。

• 人工智能行业的道德推算年人工智能行业的道德推算年
• 不公平的优势：不要期望AI像人类一样玩耍不公平的优势：不要期望AI像人类一样玩耍
• 该AI可以预测在线拖钓，然后再发生

在过去的几年中，我们已经看到如何可以将AI技术毫无思想和反思地公诸于众，以达到恶意目的。 一个例子是FakeApp，这是一个可以交换视频中人脸的AI应用程序。 FakeApp发布后不久，它就被用于制作以名人和政客为特色的假色情视频，引起人们对AI伪造威胁的担忧。

OpenAI的决定表明，我们需要停下来思考一下公开发布技术的可能后果。 我们需要就AI技术的风险进行更积极的讨论。

“一个暂停一个特定项目的组织并不会真正改变长期的情况。但是OpenAI所做的任何事情都引起了很多关注……我认为应该为在这个问题上引起关注而受到鼓掌，” David Bau，麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究员告诉Slate。