从Alexa的错误中学习

Amazon Echo设备最近记录了用户的私人对话，并在未经其知情和同意的情况下将其发送给他们的一位联系人。 这（再次）引起了对智能扬声器的安全性和隐私性的担忧。 但是，后来变得很明显，Alexa的怪异行为并不是阴险的间谍活动的一部分，而是由智能扬声器工作方式造成的一系列相关联的故障引起的。

根据亚马逊提供的一个说法：“回声由于后台对话中的一个单词听起来像“ Alexa”而醒了。 然后，随后的对话被作为“发送消息”请求听到，这时，Alexa大声说：“给谁？” 这时，后台对话被解释为客户联系人列表中的一个名字，然后Alexa大声问，“对吗？” 然后，Alexa将背景对话解释为“正确”。 尽管发生这一系列事件的可能性不大，但我们正在评估使这种情况发生的可能性降低的选项。”

该场景是一个极端案例，这种事件很少发生。 但是，在为Echo和其他所谓的“智能”设备提供动力的人工智能技术的局限性方面，这也是一项有趣的研究。

对云的依赖过多

为了理解语音命令，诸如Echo和Google Home之类的智能扬声器依靠深度学习算法，这些算法需要强大的计算能力。 由于他们没有计算资源来本地执行任务，因此他们必须将数据发送到制造商的云服务器，在该服务器上，AI算法将语音数据转换为文本并处理命令。

但是，智能扬声器无法将他们听到的所有内容发送到云服务器，因为这将要求制造商在其服务器上存储过多的数据-其中大部分是无用的。 意外地记录和存储在用户家中进行的私人对话也会带来隐私方面的挑战，并可能给制造商带来麻烦，尤其是在新的数据隐私法规中，对技术公司存储和使用数据的方式设置了严格的限制。

这就是为什么智能扬声器设计为在用户说出“ Alexa”或“ Hey Google”之类的唤醒词后才触发的原因。 他们只有在听到唤醒词后，才开始将其麦克风的音频输入发送到云中进行分析和处理。

正如最近的Alexa事件所强调的那样，尽管此功能改善了隐私性，但它也带来了自己的挑战。

Conversocial首席执行官Joshua March说：“如果在谈话中途发送单词或听起来很像的单词，Alexa不会有任何以前的上下文。” “到那时，对于与您设置的技能有关的任何命令（例如其消息传递应用程序），它都非常努力地进行监听。在很大程度上，通过限制Alexa关注的上下文（如尽管您在这种情况下适得其反，但它并没有录制或收听您的任何普通对话。”

边缘计算的进步可能有助于缓解此问题。 随着AI和深度学习逐渐进入越来越多的设备和应用程序中，一些硬件制造商已经创建了专门用于执行AI任务的处理器，而无需过多依赖云资源。 Edge AI处理器通过将所有数据发送到云中，可以帮助诸如Echo之类的设备更好地理解和处理对话，而不会侵犯用户的隐私。

上下文和意图

除了接收截然不同且分散的音频片段之外，亚马逊的AI还在努力理解人类对话的细微差别。

March说：“尽管在过去几年中，深度学习取得了长足进步，使软件能够比以往更好地理解语音和图像，但仍然存在很多局限性。” “虽然语音助手可以识别您说的话，但他们不一定真正理解其背后的含义或意图。世界是一个复杂的地方，但是当今任何一个AI系统都只能处理非常多的事情。具体的狭窄用例。”

例如，我们人类可以通过多种方式来确定句子是针对我们的，例如语调或听觉提示（例如说话者的视线方向）。

相反，Alexa假定它是任何包含“ A”字的句子的接收者。 这就是用户经常意外触发它的原因。

问题的一部分是，我们夸大了当前AI应用程序的功能，经常使它们与人的思想处于同等水平或高于人的思想，并对它们给予太多信任。 这就是为什么当它们严重失效时我们感到惊讶。

Starmind的创始人，神经科学家Pascal Kaufmann表示：“部分问题是，'AI'一词的市场营销如此激进，以至于消费者对与该词相关的产品抱有不当的信念。” “这个故事说明，Alexa具有许多功能，并且对如何以及何时适当应用它们的理解相对有限。”

当深度学习算法所面临的设置与所训练的数据和方案有偏差时，它们很容易失败。 考夫曼说：“人类级AI的定义性特征之一将是自给自足的能力和对内容的真正理解。” “这是真正视为AI'智能'的关键部分，对于AI的发展至关重要。创建具有自我意识的数字助理，使他们对人性有充分的了解，这将标志着他们从有趣的新颖性向真正的转变。有用的工具。”

但是创建人类级别的AI（也称为通用AI）说起来容易做起来难。 数十年来，我们一直认为它指日可待，但随着技术的进步表明人类思维的复杂性，我们对此感到沮丧。 许多专家认为，追逐通用AI是徒劳的。

同时，狭窄的AI（如当前对人工智能技术的描述）仍然存在很多机会，可以进行修复以避免重复错误。 需要明确的是，深度学习和机器学习仍处于新生阶段，像亚马逊这样的公司不断更新其AI算法，以解决每次发生的极端情况。

我们需要做什么

Atomic X首席技术官Eric Moller说：“这是一个新兴的领域。自然语言理解尤其处于起步阶段，因此我们可以在这里做很多事情。”

Moller相信可以对语音分析AI算法进行调整，以更好地理解语调和音调变化。 “在更宽泛的句子中使用'Alexa'一词听起来与调用或命令不同。Alexa不应醒来，因为您是顺便说了这个名字，” Moller说。 经过足够的培训，AI应该能够区分针对智能扬声器的哪些特定音调。

科技公司还可以训练他们的AI，使其能够区分接收背景噪音的时间，而不是直接说话。 Moller说：“背景聊天具有独特的听觉'签名'，人类非常擅长接听并有选择地调教。没有理由我们不能训练AI模型来做到这一点。”

作为预防措施，AI助手应评估他们正在做出的决策的影响，并在他们想做可能敏感的事情的情况下参与人为决策。 制造商应在其技术中采取更多保护措施，以防止未经用户明确明确同意而发送敏感信息。

Tonkean首席执行官Sagi Eliyahi表示：“尽管亚马逊确实报告称Alexa试图确认其解释的动作，但仍需要对某些动作进行更仔细的管理，并以更高的标准确认用户的意图。” “人类有相同的语音识别问题，有时会听到请求。与Alexa不同，人类更有可能绝对确认他们理解不清楚的请求，更重要的是，与过去的请求相比，可以评估请求的可能性。”

同时…

在科技公司微调其AI应用程序以减少错误的同时，用户将不得不做出最终决定，以决定他们希望承受AI驱动的设备可能造成的潜在错误的程度。

数据科学专家，几本有关AI和软件的书籍的作者道格·罗斯（Doug Rose）表示：“这些故事表明，人们愿意与新的AI技术的承诺共享数据量的冲突。” “您可能会嘲笑Siri太慢了。但是，让她获得更大智慧的最好方法是入侵我们的私人对话。因此，未来十年左右的一个关键问题是，我们将允许这些AI代理窥探我们的行为多少？ ？

“哪个家庭会在客厅放置一个人工助手，让那个人一直听任何形式的谈话？” Starmind的神经科学家Kaufmann说。 “我们至少应该对所谓的'AI'设备（如果没有更高的标准）应用相同的标准，就隐私，保密性或可靠性而言，我们也应适用于人类智能。”