人工智能存在偏见问题，这是我们的错

2016年，来自波士顿大学和微软的研究人员在研究人工智能算法时发现了种族主义和性别歧视倾向，这些趋势是我们每天使用的一些最受欢迎和关键的服务的基础。 这一发现与传统观点相悖，传统观点认为人工智能不会像我们人类那样遭受性别，种族和文化偏见的困扰。

研究人员在研究词嵌入算法时发现了这一发现。词嵌入算法是一种AI，它通过分析大量文本来查找不同词之间的关联和关联。 例如，训练有素的词嵌入算法可以理解花的词与愉悦感紧密相关。 在更实际的水平上，词嵌入理解术语“计算机编程”与“ C ++”，“ JavaScript”和“面向对象的分析和设计”密切相关。 当集成到简历扫描应用程序中时，此功能使雇主可以更轻松地找到合格的候选人。 在搜索引擎中，它可以通过显示与搜索词在语义上相关的内容来提供更好的结果。

BU和Microsoft的研究人员发现，词嵌入算法存在一些问题，例如将“计算机程序员”与男性代词相关联，并将“家庭主妇”与女性代词相关联。 他们的发现发表在一篇研究论文中，标题为“男人是计算机程序员，女人是家庭主妇？” 是揭露AI中立性神话并阐明算法偏差的几份报告之一，随着算法越来越多地参与我们的日常决策，该现象正日益严重。

算法偏差的起源

机器学习和深度学习算法是大多数当前基于AI的软件的基础。 与基于预定义和可验证规则的传统软件相反，深度学习将创建自己的规则并通过示例进行学习。

例如，要创建基于深度学习的图像识别应用程序，程序员可以通过向算法提供标记的数据来“训练”该算法：在这种情况下，将使用标有它们所包含的对象名称的照片进行标记。 一旦算法吸收了足够多的示例，它就可以收集相似标记数据中的常见模式，并使用该信息对未标记样本进行分类。

这种机制使深度学习能够执行许多使用基于规则的软件实际上不可能完成的任务。 但这也意味着深度学习软件可以继承隐性或显性偏见。

波士顿大学电气与计算机工程系的教授Venkatesh Saligrama教授说：“人工智能算法并非天生就有偏见。” “它们具有确定性的功能，并将掌握其训练数据中已经存在的任何趋势。”

波士顿大学研究人员测试的词嵌入算法接受了Google新闻，Wikipedia和其他在线资源中数十万篇文章的培训，这些文章深深地融入了社会偏见。 例如，由于兄弟文化在技术行业中占主导地位，男性名字经常出现在与技术相关的工作上，这导致算法将男性与编程和软件工程等工作相关联。

BU大学最后一年的博士生Tolga Bolukbasi补充说：“算法没有人的力量来区分是非。” 即使我们决定采取违反道德规范的行动，人类也可以判断我们行动的道德性。 但是对于算法而言，数据是最终的决定因素。

Saligrama和Bolukbasi并不是第一个对此偏见发出警告的人。 IBM，微软和多伦多大学的研究人员在2011年发表的一篇论文中强调了防止算法歧视的必要性。当时，算法偏见是一个深奥的关注，而深度学习仍未找到主流。 不过，如今，算法偏见已经在我们所做的许多事情上留下了印记，例如阅读新闻，寻找朋友，在线购物以及在Netflix和YouTube上观看视频。

算法偏差的影响

2015年，在为其“照片”应用程序提供支持的算法将两个黑人标记为大猩猩之后，谷歌不得不道歉-可能是因为其训练数据集没有足够的黑人照片。 2016年，在AI评选的44个选美比赛的获胜者中，几乎所有人都是白人，少数是亚洲人，只有一个皮肤黝黑。 同样，原因是该算法主要是用白人照片训练的。

Google相册，大家都搞砸了。 我的朋友不是大猩猩。 pic.twitter.com/SMkMCsNVX4

-jackyalciné对这里的反应不多。 DM（@jackyalcine）2015年6月29日

最近，对IBM和Microsoft的面部分析服务进行的测试发现，这两家公司的算法在检测浅色皮肤的男性性别方面几乎完美无缺，但在呈现深色皮肤的女性照片时通常会犯错。

尽管这些事件可能造成的损失可忽略不计，但在医疗，执法和招聘等更为关键的领域中，人工智能算法的说法却并非如此。 2016年，ProPublica的一项调查发现，COMPAS（人工智能驱动的软件，可评估犯罪者再犯的风险）偏向有色人种。 这一发现特别令人担忧，因为在某些州，法官使用COMPAS来确定谁可以自由行走和谁被监禁。

在另一种情况下，对由深度学习算法提供支持的Google广告平台的研究发现，男性向女性展示高薪工作广告的频率高于女性。 另一项研究发现，LinkedIn的招聘广告也存在类似问题。 另一个证据表明，有偏见的招聘算法向以欧洲裔美国人命名的人发送面试邀请的可能性比以非洲裔美国人为名字的人发送面试邀请的可能性高50％。

贷款审批，信用评级和奖学金等领域也面临类似的威胁。

算法偏见更令人担忧，因为它可能会加剧社会偏见。 在人工智能冷淡，没有偏见或偏见的数学计算的错觉下，人们可能倾向于相信算法的判断而不质疑它。

爱丁堡纳皮尔大学犯罪学讲师安德鲁·沃夫（Andrew Wooff）在接受英国有线（Wired UK）采访时观察到，“时间紧迫，资源密集型”的警务世界可能导致执法人员过分依赖算法决策。 他说：“我可以想象这样一种情况，即警察可能比他们自己的决策过程更多地依赖该系统。” “部分原因可能是当出现问题时您可以证明一项决定的合理性。”

依靠有偏见的算法会创建一个反馈循环：我们做出的决策会创建更多有偏见的数据，算法将在以后对这些数据进行分析和训练。

这种事情已经在诸如Facebook和Twitter之类的社交媒体网络上发生。 运行新闻提要的算法会创建“滤泡”，该滤泡显示符合用户喜好和偏见的内容。 这可以使他们对反对意见的容忍度降低，也可以通过在政治和社会鸿沟中打下楔子，进一步分化社会。

微软高级研究员珍·沃特曼·沃恩（Jenn Wortman Vaughan）说：“算法偏见可能会影响任何一个群体。” “数据中代表性不足的组可能尤其危险。”

在众所周知的偏见领域，例如科技行业对妇女的普遍歧视，人工智能算法可能会加剧这些偏见，并导致未得到充分代表的群体进一步边缘化。

沃特曼指出，健康是另一个关键领域。 她说：“如果将用于医学诊断的机器学习算法训练为来自某一人群的数据，结果可能会在其他人群中表现不佳，这可能会导致严重的问题。”

偏见也可能以更微妙的方式有害。 沃特曼说：“去年，我打算带女儿去理发，并在网上搜索'幼儿理发'的图片以寻找灵感。” 但她注意到，返回的图像几乎是所有白人儿童，主要是直发，更令人惊讶的是主要是男孩。

专家称这种现象为“代表性伤害”：当技术加强刻板印象或减少特定群体时。 沃特曼说：“很难量化或衡量这种偏见的确切影响，但这并不意味着它并不重要。”

消除AI算法的偏差

人工智能偏见的日益严重的影响已经引起了一些组织和政府机构的关注，并且正在采取一些积极步骤来解决围绕在不同领域使用人工智能的道德和社会问题。

微软的产品高度依赖AI算法，三年前启动了一项名为“公平性，问责制，透明度和道德规范（FATE）”的研究项目，旨在使用户能够不受歧视地享受AI驱动的服务的增强见解和效率。偏压。

在某些情况下，例如AI裁定的选美比赛，查找和修复AI算法偏向行为的来源可能就像检查并更改训练数据集中的照片一样容易。 但是在其他情况下，例如波士顿大学研究人员研究的词嵌入算法，训练数据中更容易出现偏见。

微软研究人员亚当·卡莱（Adam Kalai）加入了BU小组，他们开发了一种方法，可以根据单词嵌入的性别分类对单词嵌入进行分类，并确定可能有偏见的类比。 但是他们没有做出最终决定，而是由10个人在亚马逊网站数据相关任务网上市场Mechanical Turk上运行每个可疑关联，由他们决定是否删除关联。

BU教授和研究人员Saligrama说：“我们不想在流程中插入自己的偏见。” “我们只是提供了发现有问题的关联的工具。人类做出了最终决定。”

在最近的一篇论文中，Kalai和其他研究人员建议使用单独的算法对不同的人群进行分类，而不是对所有人使用相同的度量。 在现有数据已经​​偏向特定组的领域中，该方法可以证明是有效的。 例如，用于评估女性申请人从事编程工作的算法将使用最适合该群体的标准，而不是使用受现有偏差深深影响的更广泛的数据集。

微软的Wortman认为AI行业的包容性是对抗算法偏差的必要步骤。 她说：“如果我们希望我们的人工智能系统不仅对某些特定人群而言，对所有人都有用，那么公司就需要雇用各种团队来从事人工智能工作，”她说。

Wortman于2006年帮助创立了机器学习女性（WiML），该机构每年举行一次研讨会，在AI行业学习和工作的女性可以与行业和学术界的资深女性见面，建立联系，交流思想并参加小组讨论。 类似的工作是由另一位微软研究员Timnit Gebru创立的新的“ Black in AI Workshop”，旨​​在培养更多的AI人才。

波士顿大学的Bolukbasi还提议改变AI算法解决问题的方式。 他说：“算法将选择一个最大化其目标的规则集。对于给定的输入输出对，可能有很多方法来得出相同的结论。” “以针对人类的多项选择测试为例。一个人可能会通过错误的思维过程来得出正确的答案，但是得到的分数却是相同的。应该设计高质量的测试以最大程度地减少这种影响，只允许那些真正的人知道要获得正确分数的对象。使算法意识到社会约束可以被视为本示例的一个模拟（尽管不是一个确切的示例），在该示例中，学习错误的规则集将对目标造成不利影响。话题。”

人工智能的不透明度使公平变得复杂

使AI算法更加公平的另一个挑战是“黑匣子”现象。 在许多情况下，公司会嫉妒其算法：例如，犯罪预测软件COMPAS的制造商Northpointe Inc.拒绝透露其专有算法。 唯一了解COMPAS内部工作方式的人是程序员，而不是使用它来进行判断的法官。

除了公司保密之外，人工智能算法有时变得如此复杂，以至于其决策背后的原因和机制甚至连其创造者都难以捉摸。 在英国，达勒姆警察使用AI系统HART来确定犯罪嫌疑人在两年内是否有较低，中等或较高的犯罪可能性。 但是，2017年对HART的学术评论指出，“透明度似乎很难避免”。 部分原因是系统使用的数据量庞大且种类繁多，这使得难以分析其决策背后的原因。 该论文说：“这些细节可以免费提供给公众，但是需要大量的时间和精力才能完全理解。”

多家公司和组织正致力于使AI透明化，包括谷歌（Google）推出了GlassBox，该倡议旨在使机器学习算法的行为更易于理解，而又不牺牲输出质量。 国防高级研究计划局（DARPA）负责监督军方对AI的使用，它也在资助使AI算法能够解释其决策的工作。

在其他情况下，人的判断将是解决偏见的关键。 为了防止现有的种族和社会人类偏见逐渐渗透到HART的算法中，达勒姆警察局向其员工提供了有关无意识偏见的意识会议。 警察也已采取步骤删除种族特质等数据点，这可能会为做出有偏见的决定奠定基础。

人的责任

从不同的角度来看，人工智能算法可以提供一个反思我们自己的偏见和偏见的机会。 牛津大学数据伦理和算法研究人员桑德拉•沃克特（Sandra Wachter）表示：“世界是有偏见的，历史数据是有偏见的，因此我们收到有偏见的结果就不足为奇了。”

Wachter是伦敦艾伦图灵研究所和牛津大学研究团队的成员，后者发表了一篇论文，呼吁法规和机构研究人工智能算法可能造成的歧视。

巴斯大学的计算机科学家，算法偏差研究论文的合著者乔安娜·布赖森（Joanna Bryson）也在与 《卫报》 讲话时说：“很多人说AI偏见。不，这表明我们充满了偏见，而AI正在学习它。”

2016年，微软推出了Twitter机器人Tay，该机器人应该向人类学习并进行智能对话。 但是在Tay推出后的24小时内，微软在开始散布种族主义言论后不得不将其关闭，该言论是从与Twitter用户的对话中获得的。 也许这提醒我们，我们人类已经过去了，在算法偏差现象的出现和传播中意识到了自己的作用，并采取集体步骤消除其影响。

瓦赫特说：“这是一项非常复杂的任务，但这是我们作为社会不应回避的责任。”