谷歌的拼图如何试图为互联网排毒

互联网感觉像是一个有毒的地方。 巨魔进入评论区和社交媒体线程，以进行仇恨言论和骚扰，从而将具有启发性的讨论变成临时攻击和集体集结。 在网上发表意见通常看起来并不值得。

大规模的社交平台（包括Facebook，Twitter和YouTube）承认它们无法适当地监管这些问题。 他们与机器人，巨魔以及其他所有通过内容过滤器过滤的不受欢迎的人进行了军备竞赛。 人类没有能力阅读网络上的每条评论。 那些尝试的人经常后悔。

科技巨头已经尝试了人类调节，人工智能算法和过滤器的各种组合，以遍历每天流过其Feed的大量内容。 拼图试图找到一个中间立场。 Alphabet的子公司和技术孵化器（以前称为Google Ideas）开始证明，将机器学习（ML）用作人类主持人的工具可以改变我们处理互联网毒性问题的方式。

Perspective是由Jigsaw和Google的反滥用技术小组开发的API。 它使用ML在网上发现虐待和骚扰，并根据评论可能对对话产生的影响来对评论进行评分，以简化主持人的生活。

大喊大叫的比赛中的视角

开源技术于2017年首次宣布，尽管它的开发是在几年前开始的。 一些最早尝试使用Perspective的网站是新闻出版物，例如 《纽约时报》 和Wikipedia等网站。 但是最近，Perspective在Reddit和评论平台Disqus（在PCMag.com上使用）等网站上找到了住所。

Perspective的产品经理CJ Adams说，该项目想研究人们如何在网上保持沉默。 拼图旨在探讨有针对性的虐待或普遍的骚扰气氛如何能产生令人不寒而栗的效果，使人们感到沮丧，以至于他们觉得不值得花费时间或精力来进行讨论。 您多久见过一条推文，帖子或评论，却选择不回复，因为与巨魔抗争并获得《 Mad Online》不值得加重？

亚当斯说：“破坏在线对话很容易。” “跳进去很容易，但是一个人真的很卑鄙或有毒，可能会把其他声音驱散出去。也许有100个人阅读了一篇文章或开始了一场辩论，而最后您往往只能听到房间里声音最大的声音，在针对喜欢和分享进行了优化的互联网中。所以您要使所有这些声音保持沉默。然后，定义辩论的只是房间中最大的声音-高喊的比赛。”

拼图和谷歌

对于Jigsaw的姊妹公司Google来说，是艰难的一年，后者一直在努力解决数据安全问题，员工推迟参与五角大楼和中国项目的工作以及对处理性骚扰的启示。 更不用说在国会的一次有争议的听证会上，首席执行官桑达尔·皮查伊（Sundar Pichai）被议员们烤了。

在Alphabet的无私孵化器Jigsaw上，事情没有那么戏剧性。 该小组花费了很多时间来研究更多的技术检查形式，例如其Intra应用程序导致DNS中毒以及Project Shield导致DDoS攻击。 使用Perspective可以使目标更加抽象。 透视图不是使用机器学习来确定什么违反给定规则，而是一种高度主观的挑战：对语言的情感影响进行分类。

为此，您需要自然语言处理（NLP），该处理可以分解句子以发现模式。 在技​​术不断扩大其影响力并使其难以解决的环境中，Perspective团队面临着诸如确认偏差，集体思考和骚扰行为等问题。



AI有时是“错误和愚蠢的”

通过机器学习改善在线对话并不是一项简单的任务。 它仍然是一个新兴的研究领域。 算法可能会产生偏差，机器学习系统需要不断完善，最棘手和最重要的问题仍未得到充分解决。

创建了Perspective的Conversation AI研究小组首先是与报纸，出版商和其他托管对话的站点会面。 《纽约时报》 ，维基百科， 《卫报 》和 《经济学人 》等首批尝试使用该技术的网站。

2017年，该团队通过公开网站开放了最初的Perspective演示，这是alpha测试的一部分，使人们可以在该网站中输入数百万次的侮辱性评论。 这就像微软臭名昭著的泰（Tay）聊天机器人实验失败一样，除了用欺骗手段诱使该机器人用种族主义推文回应之外，拼图（Jigsaw）使用众包的毒力作为训练数据来提供其模型，从而帮助识别和分类不同类型的在线滥用行为。

首次公开测试运行不顺利。 Wired的“ Trolls Across America”（基于“透视”评分法在全国范围内进行评论时打破了毒性）展示了该算法是如何在无意中通过种族，性别认同或性取向来歧视群体的。

亚当斯坦率地说，Perspective的初始测试显示出主要的盲点和算法偏差。 就像亚马逊的报废招聘工具一样，它对数十年的有缺陷的工作数据进行了培训，并且对女性应聘者产生了固有的偏见，早期的Perspective模型由于其所接受的数据而存在明显的缺陷。

“在经常针对的群体的例子中，如果您查看培训数据集中各评论的分布情况，则很少有评论包含“同性恋”或“女权主义者”一词，并在积极的评价中使用它。方式。”亚当斯解释说。 “侮辱性评论将这些词当作侮辱。因此，ML看着模式时会说：“嘿，这个词的出现可以很好地预测这种情绪是否有害。”

例如，alpha算法可能错误地标记了具有高毒性评分的语句，例如“我是一个骄傲的同性恋者”或“我是一个女权主义者和变性者”。 亚当斯说，但是公开透明的培训过程虽然很痛苦，但对于意外偏见的后果，对于拼图工人来说是非常宝贵的一课。

在针对诸如在线虐待和骚扰之类的困扰和个人的事物训练机器学习模型时，算法偏见的存在也突显了为什么仅靠AI不能解决问题。 诸如Facebook和YouTube之类的社交公司都吹捧了其平台的AI内容审核功能，只是在丑闻和纠正路线中回溯，雇用了数千名人工审核员。

拼图的策略是两者的混合体。 透视不是AI算法在真空中做出决策； 该API已集成到社区管理和内容审核界面中，可作为人类版主的辅助工具。 透视工程师描述了如何使用大海捞针类比来减轻有和没有ML的仇恨言论：人工智能通过自动执行排序过程，减少巨大的大海捞针而有所帮助，同时仍然使人们对评论是否被滥用或骚扰拥有最终决定权。

亚当斯说：“这是机器学习的新功能。” “人们谈论人工智能的智能性，但是他们常常没有谈论错误和愚蠢的所有方式。从一开始，我们就知道这会犯很多错误，所以我们说，该工具有助于机器辅助的人工审核，但尚不准备进行自动决策。” 但这可能会导致“大海捞针”的问题找到这种有毒的言论并将其归结为少量的干草。”



什么是毒性分数？

Perspective建模最分裂的方面是将数字放入主观变量中，如“毒性”。 Adams指出的第一件事是，Perspective的得分是概率的指示，而不是严重性。 数字越大，表示文本中的模式类似于人们标记为有毒评论中的模式的可能性越大。

至于“有毒”的实际含义，Perspective团队将其广义地定义为“一种粗鲁，无礼或不合理的评论，很可能会让您离开讨论。” 但是，这种表现可能是微妙的。 在2018年，Jigsaw与Rhodes人工智能实验室（RAIL）合作开发了ML模型，该模型可以获取更多模棱两可的威胁或仇恨言论，例如不公开敌视的轻蔑，屈尊或讽评论。

到目前为止，大多数Perspective的模型都是通过要求人们对互联网评论的等级进行训练的，范围从“非常有毒”到“非常健康”。 然后，开发人员可以校准模型，以标记高于0.0到1.0的特定阈值的注释。 得分高于0.9表示有很高的毒性可能性，得分0.5或低于0.5意味着算法确定性的程度低得多。 透视图还使用所谓的分数归一化，这为开发人员提供了一个一致的基准，可用来解释分数。 Adams解释说，根据论坛或网站的不同，开发人员可以混合和匹配模型。 因此，当社区不介意亵渎行为时，可以权衡该属性。

Adams向我展示了一个与Perspective API集成的演示审核接口。 在管理面板中，按最高，最新等顺序对评论进行排序的选项旁边是一个小标志图标，用于按毒性进行排序。 还有一个内置的反馈机制，供主持人告知Perspective它对评论进行了错误评分，并随着时间的推移改进了模型。

他单击了一个演示界面，以审核不同的Perspective模型对Wikipedia Talk页面的评论进行评分，并通过直方图分解了哪些评论很可能是对页面作者的攻击或对其他评论者的攻击。

亚当斯说：“我们想构建机器辅助的审核工具，以标记要审查的内容，但我们不希望某个中心定义或有人说出好与坏。” “因此，如果按毒性排序，您会看到平均的评论放在首位。但是，如果您更关心身份攻击或威胁，而不是咒骂之类的指标，也许您就不会使用一般的毒性模型。您可以混合的配料。我们提供这些配料，然后开发人员对它们进行称重。”

RAIL实验正在采用更细化的方法。 牛津大学的研究生正在从加拿大报纸 Globe and Mail 的评论部分和Wikipedia Talk页面建立数以万计的评论数据集。 他们要求人类的“注释者”回答有关与“不健康的内容”的五个子属性有关的每条评论的问题：敌对或侮辱（巨魔），轻蔑，屈从或屈从、, 讽和不公平的概括。

对这些更微妙的属性的归宿揭示了新的复杂问题，这些问题带有对特定群体的意外偏见以及带有讽刺性评论的误报。 它是AI不断发展的一部分，它不断提供模型越来越多的数据，以帮助其理解人类语音背后的隐含，间接含义。 该团队仍在梳理并注释数千条评论，并计划在今年初发布最终数据集。

Adams说：“我们要努力做到的事情是，社区可以对一组评论进行评分，然后我们可以使它们成为自定义的Perspective模型的组合，以进行匹配。”



Reddit的好奇测试台

Reddit是互联网上所有美好事物的缩影。 每个主题和细分市场都有一个Subreddit社区，您可以想到这些独特的兴趣。 Jigsaw无法在公司级别上与Reddit一起使用，但在测试Perspective的AI适度性的最引人入胜的地方之一是称为r / changemyview的子reddit。

令人惊讶的是，互联网的某些角落仍然存在真正的辩论和讨论。 更改我的视图或CMV与大多数其他子版本不同。 这样做的想法是发表您接受的观点可能有缺陷或愿意改变的观点，然后听取并理解其他观点，以查看它们是否可以改变您对问题的看法。 讨论范围从平凡的话题（例如 《星球大战》 电影的正确观看顺序）到有关种族主义，政治，枪支管制和宗教等问题的严肃讨论。

Change My View是Perspective的一个有趣测试平台，因为subreddit拥有自己的详细规则集，用于开始和主持对话，从而引发设计辩论和激烈辩论。 卡尔·特恩布尔（Kal Turnbull）是R​​eddit上的u / Snorrrlax专家，是r / changemyview的创始人和主持人之一。 特恩布尔告诉PCMag，Perspective API与潜艇的规则2格格不入，该规则基本上禁止粗鲁或恶意的言论。

苏格兰的特恩布尔说：“这听起来像是一条简单的规则，但是有很多细微差别。” “如果不精通语言，很难自动执行此规则。 Reddit为您提供了一个名为AutoModerator的东西，您可以在其中设置过滤器和关键字进行标记。 但是有很多误报，而且很难抓住，因为一个人可以说一个坏话而不侮辱某人，并且他们也可以不使用任何坏话就侮辱某人。”

Jigsaw于2018年3月联系了Turnbull。合作始于Rule 2，但很快团队也为其他规则构建了Perspective模型。 它不是开源的Perspective API的完全集成，而是Reddit机器人，它使主持人可以标记得分超过给定毒性阈值的评论。

在过去的六年中，Turnbull和其他mod一直在AutoModerator报告（带有标记的关键字）和用户报告的队列中手动完成所有这些操作。 Jigsaw使用了主持人多年的违规记录，并通过浏览器扩展对其进行了跟踪，并基于该数据构建了Perspective模型，并结合了Perspective的一些现有毒性模型。 在整个2018年，CMV改进程序针对过大的误报等问题提供了反馈，Jigsaw调整了得分门槛，同时继续为CMV的更多规则建模。



在线辩论中的复杂判断

（Perspective机器人已集成到Reddit主持人界面中。）

对于subreddit的所有规则审核而言，透视图并不适用。 一些更复杂或抽象的规则仍然超出了这种ML可以理解的范围。

例如，规则4控制着潜艇的Delta积分系统，而规则B则阻止用户扮演恶魔的拥护者或使用帖子“肥皂泡”。 像这样的细微节制需要上下文数据和普通的人类理解力，以辨别某人是出于真正的理由而争论某个观点，还是仅仅出于拖延的目的。

在可预见的将来，我们仍然需要人工改装。 这些更复杂的判断场景使CMV主持人开始看到AI建模的裂痕，而更聪明的自动化可以确定所有这些是否可扩展。

特恩布尔说：“我认为这是如此复杂的原因是，这是我们对他们的原始帖子的判断以及他们在整个对话中的互动的综合。因此，触发模型的不仅仅是评论。” “如果争论不断来回，最后是说'谢谢'或承认的评论，即使规则在线程中被打破，我们也会放任不管。或者在上下文中有一个轻松的笑话可能看起来很不礼貌-这是一件很可爱的小事，而这是bot尚未获得的东西。”

“更改我的视图”是当前唯一积极使用Perspective ML模型进行审核的子建议，尽管Adams表示，该团队已收到其他多个访问请求。 CMV的特定规则集使其成为理想的测试用例，但是Perspective模型具有可塑性。 各个子实体可以自定义评分算法以匹配其社区准则。

他说，Turnbull的下一步是将CMV从Reddit上撤下，因为该社区的人数已经超过了它。 在过去的六个月中，主持人的新成立的初创公司一直在与Jigsaw一起在专用站点上工作，该站点的功能比Reddit的mod界面和漫游器所能提供的功能更深。

该项目仍仅处于Alpha测试中，但是Turnbull谈到了一些功能，例如当用户键入可能会违反规则的注释时主动发出警报，内置报告为主持人提供更多背景信息以及历史数据以供决策。 特恩布尔强调说，没有关闭或迁移subreddit的计划，但他对新实验感到兴奋。

• 所有评论都适合打印

  根据一周中的一天， 《纽约时报》的 网站收到12, 000至18, 000多个评论。 直到2017年中，该论文的评论部分由专职社区管理人员主持，他们阅读了每条评论并决定批准还是拒绝。

  贝西·埃蒂姆（Bassey Etim）直到本月为止一直是《 泰晤士报》 的社区编辑，他在社区服务台工作了十年，自2014年以来一直担任社区编辑。在工作日的高峰期，团队中可能会有一些人主持对评论故事的评论，而其他人解决新闻故事。 电子表格拆分并跟踪了不同的职责，但是根据当时的头条新闻，大约十几个人的团队不断地被调动或调动。 他们还将评论中的花絮反馈给记者，以寻找潜在的故事来源。

  最终，很明显，这超过了12个人。 在达到团队可以审核的最大评论数之后，必须关闭有关故事的评论部分。

  该报纸的受众发展小组已经在尝试机器学习以获取基本的，显而易见的评论批准，但是Etim表示，它并不是特别聪明或可定制。 《 泰晤士报》 于2016年9月首次宣布与Jigsaw建立合作关系。此后，其评论栏目从出现在所有故事中的不到10％扩大到今天的大约30％，并且还在攀升。

  从Jigsaw的角度来看，孵化器看到了每天从数百万条评论中馈送Perspective匿名数据的机会，并由专业人士主持，他们可以帮助改进流程。 为了交换匿名的ML训练数据，Jigsaw和 Times 共同建立了一个名为Moderator的平台，该平台于2017年6月推出。



内部主持人，纽约时报评论界面

（图片由 《纽约时报》提供 ）

主持人将Perspective的模型与2007年以来超过1600万条匿名的，经过审核的 Times 评论相结合。

社区团队实际上在“主持人”界面中看到的是一个带有交互式直方图的仪表板，该直方图可视化了超过特定阈值的评论细分。 他们可以来回拖动滑块，例如，自动批准所有注释的摘要分数仅为0％到20％，这是基于注释的for亵，毒性和被拒绝可能性的组合。 下面有快速审核按钮，用于批准或拒绝评论，推迟评论或标记评论，以继续改进Perspective的建模。

Etim说：“对于网站的每个部分，我们分析了收到的评论以及Perspective对其进行标记的方式。我们既使用了公共的Perspective模型，也使用了 《纽约时报 》独有的模型。” “我将分析每个部分的评论，并尝试找到一个合适的临界点，'好吧，使用这些特定的毒性标签（例如淫秽），超出此概率的所有事物，我们都将批准。”

随着《 纽约时报》 致力于发布更多故事的评论，甚至最终定制模型如何过滤和批准网站不同部分的评论，机器学习正在批准相对较少的评论（大约25％左右，Etim说）。 模型仅批准评论； 拒绝仍完全由人工主持人处理。

那些手动注释的截止日期已经消失了。 埃蒂姆说，通常在一个故事在网上发布后24小时或在其印刷后的第二天就关闭评论。

“我们不会用机器代替您”

下一阶段是在系统中构建更多功能，以帮助主持人确定要首先查看的评论的优先级。 一直以来都是手动过程的自动化使主持人能够花时间主动与记者合作，以回复评论。 它创建了一个反馈循环，在该循环中，评论可导致后续报告和其他故事，从而可以节省和重新分配资源以创建更多新闻。

埃蒂姆说：“主持人和观点使《 泰晤士报》 对读者的关注有了更大的反应，因为无论是通过自己编写故事还是与记者合作找出故事，我们都有资源做到这一点。” “这个项目的妙处在于我们没有解雇任何人。我们不会用机器代替您。我们只是在更有效地利用人类，并做出真正艰难的决定。”

该文件可以与其他出版物一起使用，以帮助行业中的其他人实施这种技术。 它可以帮助资源有限的本地新闻媒体在没有大量专职人员的情况下维护评论栏目，并像《 纽约时报》 一样使用评论，以寻找潜在的线索并推动基层新闻业的发展。

Etim将AI辅助的节制比作给农民一个机械犁而不是锹。 用犁可以做得更好。

他说：“如果Perspective能够以正确的方式发展，那么它有望至少创造出一套对小网点可重复的指导方针。” “这是一个漫长的游戏，但是我们已经建立了很多基础来成为读者体验的一部分。那么也许这些本地报纸可以再次发表评论，并与主要的社会参与者建立起一定的联系。”



尖叫到深渊

在这一点上，我们大多数人都看到人们在社交媒体上发表意见而遭到攻击或骚扰。 除了那些在这类事情上蓬勃发展的巨魔之外，没有人希望这种事情发生在他们身上。 而且我们了解到，对一个永远不会听理性辩论的陌生人大喊大叫并不是我们时间的宝贵利用。

Perspective试图颠覆这种动态，但CJ Adams说，更广泛的目标是发布数据，研究和新的开源UX模型以创建新的对话结构，这是一项艰巨的任务。 使互联网成为值得人们度过的健康时光，意味着可以将这些系统扩展到新闻评论栏目和子意见之外。 最终，人工智能工具必须能够处理主导我们日常数字互动的庞大社交应用和网络。

撇开Facebook，Twitter和其他社交巨头在内部所做的事情，实现这一目标的最直接方法是将技术从主持人推向用户自己。 亚当斯（Adams）指出了珊瑚计划（Coral Project），以了解可能的样子。

珊瑚项目最初是由Mozilla基金会， 《纽约时报》 和《 华盛顿邮报》合作建立的。 Coral正在构建诸如Talk平台之类的开源工具，以鼓励在线讨论，并为新闻网站提供替代关闭评论部分的替代方法。 Talk目前为近50个在线发行商提供平台，包括 Post ， New York Magazine，The Wall Street Journal 和The Intercept。

本月初，Vox Media从Mozilla基金会手中收购了Coral项目。 它计划将其“深度集成”到其内容管理和讲故事平台Chorus中。

Perspectives有一个针对Coral Project的插件，该插件使用相同的基础技术-基于ML的毒性评分和阈值-在用户键入时为用户提供主动建议，Adams说。 因此，当用户编写包含标记为滥用或骚扰的短语的评论时，可能会弹出一条通知，通知用户“在发布此信息之前，请务必记住我们的社区准则”或“此评论中的语言可能违反了我们的社区准则。我们的审核小组将尽快对其进行审核。”

亚当斯说：“这微不足道的动作可以帮助人们只花一秒钟的时间思考，但是它也不会阻止任何人。” “这并没有停止讨论。”

这是视频游戏聊天和流媒体平台集成在一起的一种机制，可以阻止滥​​用和骚扰。 Twitter用户显然也可以从这种系统中受益。

麻省理工学院的研究科学家安德鲁·利普曼（Andrew Lippmann）在PCMag的《未来问题》中提出了一个想法：他谈到了内置的机制，这些机制可以使人们在共享在线内容之前停下来思考，以防止错误信息的传播。 该概念也适用于在线讨论。 Lippmann说，我们已经创建了无摩擦的通信系统，该系统能够即时放大一条语句的到达范围，但是有时候产生一点摩擦可能是一件好事。

透视图不是关于使用AI作为一揽子解决方案。 这是将ML模型塑造为人类工具的一种方法，可以帮助他们策划自己的体验。 但是有一个对立的观点，就是如果您使人们更容易地滤除他们不喜欢的在线噪音，那么互联网将比现在更加成为回声室。

当被问及像Perspective这样的工具是否最终会加剧这种情况时，亚当斯说，他认为在线回声室的存在是因为没有任何机制可以主持人们可以有意义地不同意的讨论。

他说：“阻力最小的途径是'这些人正在战斗。让他们在自己的角落同意自己的观点。让人们孤军奋战。” “您可以让其他人大声喊叫，或者关闭讨论。我们希望Perspective创造第三个选择。”

亚当斯提出了一个示例场景。 如果您问一个有1000人的房间，“今天您当中有多少人真正关心的是什么？” 大多数互联网用户会指向他们在网上阅读的文章，推文，帖子或其他内容。 但是如果您随后问他们，“你们中有多少人认为值得您花时间对其进行评论或进行讨论？” 房间里所有的手都会掉下来。

“对于我们许多人来说，这不值得付出努力。我们现在拥有的讨论结构仅意味着这是一种责任。如果您有当前的合理思想或您想分享的东西，对于大多数人来说，他们不会不想参加。”亚当斯说。 “这意味着可以在会议室中的1, 000个人中，您在讨论中只有一小部分；假设有10个人。我深信，我们可以建立一个结构，使另外990个人回到讨论中并以他们认为值得的方式做到这一点。”