在苏美尔人内部，亚马逊对增强现实和虚拟现实的大赌注

亚马逊通过Sumerian（一个可以在智能手机和耳机上构建AR和VR应用程序，并且很快就能正常运行的AR / VR应用程序）的多合一开发平台，进入增强和虚拟现实领域。在您的浏览器中。

在这些经验中，苏美尔人可以创建由“主机”组成的沉浸式虚拟世界，这是由支持Alexa的同一台人工智能技术带来的3D角色。

Sumerian与平台无关。 亚马逊没有开发自己的品牌设备或耳机，而是选择与现有产品集成。 Sumerian建立在开放的网络标准之上，并支持Apple的ARKit和Google的ARCore，这意味着应用程序创建者可以构建一个可在Android，iOS，Oculus Rift，HTC Vive等平台上运行的Sumerian应用程序。

作为Amazon Web Services的新增功能，Sumerian使用该服务的基于使用情况的模型（而非订阅）进行定价，并连接到其他AWS服务。

亚马逊在11月首次发布时发布了Sumerian预览，但在预期的5月发布之前，PCMag在Sumerian和一些早期的客户应用程序中获得了独特的外观。

Amazon Sumerian总经理Kyle Roche向我展示了3D应用程序创建平台的演示。 我参观了Sumerian的拖放应用程序编辑器和3D对象库，以及用于编写复杂自动化场景脚本的Visual State Machine，并进入了创建人工智能主机的过程，您可以在这些虚拟体验中与他们进行全面对话。

我还采访了副总裁Marco Argenti，他不仅负责AR / VR，还负责AWS Mobile，无服务器计算和IoT部门。 亚马逊对Sumerian制定了雄心勃勃的计划，而对于将增强现实和虚拟现实与AI相结合的角色，更宏伟的愿景将在我们互联的未来中发挥作用。

• 为什么亚马逊押宝AR / VR

  涉足全新的行业或领域从来没有停止过亚马逊。 只需看看Whole Foods，Amazon Video或其在医疗保健和制药行业的努力即可。

  罗氏开玩笑说，苏美尔人的名字来自科幻小说《 雪崩》 （亚马逊实际上正在改编这本书） 而“主持人”的想法来自HBO的《 西部世界》。 但是根据Argenti的说法，亚马逊进入AR / VR领域的决定实际上归结为三个关键因素：基于智能手机的增强现实的出现； 企业对企业（B2B）市场中未开发的VR机会； 并帮助AWS客户用他们已经尝试做的事情解决痛点。

  Argenti解释说：“这些信号足以使我们真正开始进入Sumerian设计过程。以经典的Amazon方式，我们从客户用例开始进行反向工作，然后最终资助了开发团队来构建产品。”

  B2B应用程序包括交互式数字标牌（例如 Blade Runner上 的巨型说话全息广告 ：2049 ），虚拟培训以及大量工业物联网用例（例如，使用传感器创建数字双胞胎和复杂模拟）的场景。 Argenti还强调了基于智能手机的AR通过ARKit和ARCore达到拐点的重要性。

  他说：“相机正成为与现实互动并探索周围世界的非常强大的工具。” “快速的图形处理器可以实时叠加信息，传感器可以帮助构建3D现实。其想法是，人们可以在手中掌握高质量，高清，上下文相关的传感器。”



亚马逊如何打造苏美尔人

亚马逊于2016年底开始考虑AR和VR对AWS客户的需求，大约一年后，预览在AWS re：Invent首次亮相。 在这之间，发生了一些事情。

首先，亚马逊收购了一家破产的瑞典创业公司Goo Technologies； 其3D创作环境Goo Create成为Sumerian集成开发环境（IDE）的基础。

Goo Create的可视3D建模也是一种基于Web的云服务，但是Amazon通过将后端移至AWS进一步向前发展了。 在您已经拥有的可伸缩云基础架构之上进行构建有很多好处，但是很大的一个好处是大大减少了延迟。 罗氏说，苏美尔人最大的卖点之一是，尽管编辑器功能强大，但没有下载或安装的内容。 在演示期间，Sumerian在几秒钟内从浏览器URL加载。 即使执行实时自然语言处理（NLP）和渲染精美的动画，也不会减慢速度。

与低代码开发平台一样，Sumerian可以在几乎没有开发人员经验的基础上使用。 但是，编码人员和数据科学家可以使用可编程API和Sumerian的命令行界面更深入地了解自定义场景并编写复杂的应用逻辑。

Argenti说：“我们希望您单击并立即进入现场，从而获得一种体验。” “那么，您就有了3D图形工具，您可以在其中拖放对象。Somerian是一种可视化工具，可以关联发生动作或事件时发生的情况，而无需编写任何代码。”



创建3D Sumerian应用

亚马逊和Sumerian遵循的更广泛的设计理念是尽可能地巩固创作体验。 罗氏表示，这个想法是要掩盖许多重复的开发任务，因此构建Sumerian应用程序的基本过程是相同的，而与最终发布该应用程序的AR和VR平台无关。

它从选择模板或直接跳入创建新场景开始。 Sumerian的一些默认模板包括办公室空间，培训室和仓库，货船和室外篝火等场景。 主编辑器支持WebGL和WebVR，并且其布局与我们测试过的许多低代码工具相同。

左侧是实体面板。 实体本质上是数据库中的表，可帮助您管理被拉入应用程序的数据。 在该窗口下方是资产窗口，您可以在其中搜索要拉入场景的对象或打开所有Sumerian 3D模型的完整资产库。 罗氏表示，Sumerian引入了许多开源对象库，并与Sketchfab API集成。 他说，亚马逊也有兴趣与TurboSquid和Google的Poly AR / VR对象库等平台集成。 您也可以将自己的资产导入Sumerian，并将其放到场景中。

Roche解释说：“资产面板可以用作调整管道的放置区域。” “您可以拖动最常见的3D文件格式；我们将对其进行转换，优化并为您存储。我们在后端所做的一件事是，如果您在多个场景中使用相同的素材资源， '实际上会为您创建参考链接。”

屏幕中间是主画布，您可以在其中将资产和3D模型拖放到场景中。 在画布的角上是一个按钮，用于启动场景的WebVR预览。

在其下方是时间线编辑器，其工作方式与视频编辑工具类似。 当您将动画和声音拉入帧并使用可视状态机创建动作，宿主行为和事件进度时，所有这些都将显示在时间轴上，您可以在其中调整从一种状态过渡到另一种状态的方式。

右侧列是检查器面板，其中显示了您正在查看的任何组件的详细信息以及如何自定义它们。 对于可能具有一百种不同变体的模型，您可以调整属性和纹理之类的东西而无需实际接触场景。



亚马逊的战略：与所有人融合

Sumerian不仅在Unity，Unreal Engine和Vuforia等平台的3D开发领域中发挥作用，而且还在ARKit，ARCore和Windows Mixed Reality等更广泛的AR / VR生态系统中发挥作用。 罗氏表示，苏美尔人将“一次构建，随处运行”的理念应用于AR / VR应用，特别是对于企业开发人员。

罗什说：“专业3D开发人员或专业动画师有一个与他们合作的工作室。但是，大多数Web或移动开发人员都在学习像Unity这样的东西。” “团结固然很好，但是要真正做到团结，要想掌握他们的技能（就像他们擅长JavaScript一样）并以这种方式简化3D难度要大得多。因此，我们决定专注于部分市场。”

Sumerian支持几种核心开放标准：WebGL，WebAR，WebVR和即将推出的WebXR框架，这些框架会将AR / VR应用程序带到跨平台的所有设备和浏览器。 万维网联盟（W3C）将在未来几个月内投票批准WebXR。 届时，Sumerian应用将可以直接在浏览器中运行。

Sumerian在WebGL，WebVR和WebXR之间完全不受平台限制，并且Sumerian发布了本机包装，可直接与ARKit和ARCore集成以用于基于智能手机的AR应用程序。 罗氏表示，Sumerian可以为支持WebVR的任何平台构建应用程序，这不仅意味着Oculus Rift和HTC Vive，还包括三星Gear VR，Google Daydream View等。 Sumerian还在与WebXR的Google Chrome团队紧密合作，以开发基于浏览器的应用程序。

会议室中的另一个主要参与者是微软。 尽管亚马逊没有说Sumerian将与Windows Mixed Reality生态系统集成，但罗氏（Roche）确实说Microsoft HoloLens的最新RS4版本包含WebAR支持，这意味着Sumerian可以运行HoloLens场景。 亚马逊还在观察Magic Leap和Meta等公司的其他头戴式耳机，但其方法使苏美尔人受益于灵活性。

Argenti说：“我们做出了选择。我们本来可以走自己的专有路线，然后将开发人员推向这一方向。” “相反，我们决定尽可能扩大范围以支持我们认为将是一个庞大的市场。一旦一切都转移到WebXR，整个设备生态系统就会随之而来。我们正在寻求基础。”

• 苏美尔的AI主机改变了游戏规则

  主持人是苏美尔人最独特的卖点之一。 主机是3D动画角色，您可以将其放置在AR或VR场景中。 用户可以向主持人提出问题，而开发人员可以编写脚本，让主持人在进行对话并在场景中四处走动时可以执行一系列复杂的动作，行为，手势和动作。 罗氏说，亚马逊从各种各样的地方吸引了房东的灵感，包括《第二人生》和《模拟人生》等在线游戏。

  Sumerian目前有两个默认主机：Cristine和Preston，但将在今年启动一系列主机。 亚马逊在这些AI角色中加入了很多细微差别。 罗氏（Roche）向我展示了克里斯蒂娜（Cristine）的演示，其中他将主持人拖到场景中，并拉开检查器面板以自定义她的情绪，面部表情和手势。 当主持人讲话时，亚马逊将根据对话的自然语言处理自动生成手势。 因此，如果Cristine说“嗨”，则可能会触发挥手姿势。

  使用所谓的兴趣点系统，您可以在编辑器中选中一个复选框，以便主持人的视线始终关注摄像机。 因此，如果您戴着HTC Vive Pro在360度空间中行走，主持人可以跟随您。 Roche解释说，如果这是一个连接到智能手机相机的AR应用程序，那么Amazon的Rekognition深度学习系统可以对您所在的位置和脸部所在的位置进行面部分析，以使其看起来像主持人正在通过屏幕向后看直接对你。 它给您眼神接触的幻觉。

  客户还可以使用Amazon的Maya SDK从头开始创建自己的自定义主机，但是Amazon提供了基本框架，您可以从中调整主机的外观，方言和词尾变化，语言等。 从长远来看，亚马逊正在考虑使创建主机更容易的方法。 Argenti谈到了为第一人称化身创建主机生成器的想法，或使用面部识别将渲染的角色与真实人物相匹配的想法。

  “与Rekognition结合使用，如果我们通过程序生成尽可能多的这些字符，我们可以尝试将您匹配到最近的头像。我们将为您拍摄照片并进行反向面部识别，然后将其与随机字符进行匹配，从而为您提供看起来像您的主机。”

  Argenti解释说，如何集成其他AWS服务（例如Amazon Comprehend自然语言处理服务）可以使主机更加逼真。 理解分析文本以提取有关情绪和情感分析之类的元数据。 因此，主持人可能会根据与之交互的人的心情而具有不同的面部表情，方式或说话方式。

  Argenti说：“如果他们生气了，主人可能会让他们平静下来。” “不仅在传达信息的方式上有发展，而且在通过深度情感分析得出的方式上也有发展。”



在Alexa背后提供语音服务

如果主持人不会说话，那就不是很好。 您无法在Sumerian应用程序中说“嘿Alexa”，就像在Windows Mixed Reality中激活Cortana一样。 取而代之的是，亚马逊使用Alexa背后的自动语音识别和自然语言理解API来让主持人进行对话。

Sumerian与Amazon Lex和Amazon Polly集成在一起。 Polly是一种文字转语音服务，可以将文字转换为主机可以说的脚本。 Lex是用于构建对话界面的NLP引擎，主机可以通过它来理解并响应用户在AR或VR应用程序中所说的话。 Sumerian目前通过Polly支持超过二十种语言，并且具有口型同步功能，可以使主持人的嘴巴动作与语言或语音的节奏相匹配。

Argenti说：“当您沉浸在AR或VR中时，语音是一种真正有意义的媒介。” “如果我能看到站在那儿的角色，我想和他聊天。因此，我们从AI小组中挑选了其中两个工具，并试图将它们真正拟人化。我们希望现场能够倾听并回应我们。因此您可以像处理聊天机器人一样将整个Lex流转移到角色上。从很多方面看，这实际上比构建Alexa技能容易。”



沉浸式世界中的脚本逻辑

在Sumerian的Visual State Machine中，您可以布置复杂的序列和虚拟仿真。 使用可视化时间线编辑器或完整的JavaScript界面​​，应用程序创建者和开发者可以编写脚本逻辑来控制场景中的主机或其他对象如何响应不同的动作。 例如，苏美尔人包括一个飞行的无人机对象，您可以编写脚本使其飞行。

当您将实际对象引入方程式时，所有这些都会变得更加复杂。 由于Argenti还负责监管AWS的无服务器计算和物联网部门，因此他谈到了如何将Sumerian连接到Lambda和Greengrass等AWS服务可以为复杂的模拟打开更多可能性。 Greengrass是机器学习模型在IoT设备本身上本地运行的一种方式。 考虑一下从工厂车间的机器上获得的数据进行ML模型训练，然后将该算法引入Sumerian，以使用AI模拟同一机器。

Argenti说：“ AR和VR可能确实存在一个模拟的世界，其中每个角色或对象都可以通过现实世界中的机器学习训练而变得智能。” “最终，您想尝试以最现实的方式重新创建现实。今天我们可以接近，但从行为的角度到模拟事物的实际运行方式还远远不够。”



Weatherbug的模拟气象学家

当亚马逊带我看一些Sumerian的客户演示时，最初当第一个是气象应用程序时，我感到很惊讶。

但是正如WeatherBug总经理Olivier Vincent解释的那样，虚拟现实对天气数据的意义远超出您的想象。 当人们开始在应用程序中查看天气而不是在电视上观看天气预报时，文森特说，天气报告失去了他们最好的影响之一：您的本地气象员在绿屏前。

“天气是要告诉您在给定位置在给定时间的情况。您可以在应用中以一种精美的2D方式进行操作，以便快速浏览，但多年来我们都知道天气状况如何。”文森特说。 “所以我们的想法是在应用程序的更沉浸式体验中重新引入天气专家。”

WeatherBug通过一个虚拟新闻工作室构建了一个苏美尔场景，该工作室带有一个锚定办公桌和绿屏，并聘用了亚马逊的默认Cristine主持人作为气象学家。 该应用程序提取您所在位置的当前天气数据，然后主机将作为个性化天气预报的一部分向您回读。 在主要的WeatherBug应用程序中，文森特启动了VR浏览器，该浏览器在Cristine给出天气预报的同时放大了曼哈顿的3D模型，包括高温和低温以及飘落的雪花。



虚拟护理员艾迪生

总部位于新墨西哥州的健康管理技术公司Electronic Caregiver具有与苏美尔人截然不同的经历。

该公司为老年人提供技术，如带有医疗帮助按钮的可穿戴设备，但它还建立了一个名为Addision Care的解决方案，该解决方案削减了家庭护理成本，并使用对话式AI评估了老年患者跌倒的风险。 该公司正在向药房，医院和临床医生提供服务亭，该服务亭将使用机器学习功能分析患者的步态。 该软件还使用定制的Sumerian主机Addison来引导用户浏览有关其跌倒历史的口头问卷。

“让老年人采用技术并非易事，” Electronic Caregiver首席技术官Bryan Chasko说。 “随着情况的好转，语音技术将进入该市场。您永远不会让他们坐在键盘和鼠标的前面，但是有了Addison，他们就可以进行对话。”

Electronic Caregiver多年来一直致力于Addison，使用Amazon Lex和Polly开发3D角色。 该公司是帮助亚马逊概念化Sumerian可以解决的痛点以及如何使AR / VR应用程序创建流程自动化的AWS客户之一。

Electronic Caregiver的虚拟开发人员Judah Tveito说，苏美尔人采用了他们已经工作了几个月的流程，并将其转换为几次单击。 该公司还在开发Addison移动应用程序。

Chasko说，电子看护者最终将Addison设想为家庭虚拟看护者。 对于独自生活的老年用户，AI可以做一些事情，例如提醒他们服药或在摔倒或其他紧急医疗情况下自动拨打911。

查斯科说：“我们认为这可以解决的最大问题之一就是老年人独自生活时的孤独感。” “我们真的希望有一个永久的24/7全天候家庭环境，当您不与Addison聊天时，您就在洗手间而跌倒了，只要大声喊出来，'我需要帮助'可以挽救很多生命。”



赚钱者：B2B和物联网

亚马逊谈论了很多关于苏美尔应用程序如何生活在交互式数字标牌中的话题。 想象一下，有人在酒店大堂，购物中心或体育馆里走来走去，看到主人在屏幕上走来走去。 听起来有些令人毛骨悚然，但主持人还可以处理上下文信息（例如位置），以将广告转变为个性化的会话。 Argenti将主机视为公司品牌的虚拟扩展，可以根据业务需求进行更改。

Argenti说：“如果用相机将这些应用放到某个地方，您可以想象一个3D角色亲自与您互动：知道您是谁，可能是您上次到场，甚至是您最后订购的东西。”

“游轮就是一个很好的例子。主持人可能会说：'嘿，根据您目前在船上的位置，您在20分钟内的预定，就不会实现。你要我把它推回去吗？ 15分钟？您重新创建的体验也有视觉效果，一位与您谈论旅行的房东看上去会与与您谈论您的财务策略的主人看起来有所不同。添加位置信息可能会导致字符随位置而变化他们找到了自己；他们的着装方式，运动方式以及他们的变形。”

亚马逊正在为Sumerian客户探索一系列B2B和IoT应用程序。 在工业方面，Argenti说诺基亚将一个具有传感器和可视化功能的系统组合在一起，以监视货运集装箱内的环境，以测量车内温度和减震等情况，而无需实际打开。

他说：“您可以想象到一个AR世界，我们将数百万台设备连接到AWS，并从现实世界中获取大量传感数据。” “然后，我们可以使用带有三角剖分的AR来识别对象并在其上方显示相关信息。从服务和维修到监视，安全性等等，任何事物都有着巨大的适用性。”

使用虚拟资产时，还有广泛的电子商务可能性。 如果将Sumerian的3D模型添加到AR / VR场景中，那么来自亚马逊自己的购物目录的任何3D模型都有可能获得开发人员推荐费。 这是企业和小型企业以及AWS上的独立开发人员通过Sumerian应用获利的一种方式。

Argenti设想了Sumerian与亚马逊零售部门之间的许多交叉机会。

他说：“我们可以弥合我们的零售团队在做家具，家用电子产品和其他高价值物品方面的工作，以创建3D模型。” “然后，您可以将它们用于空间的逼真传递。我如何设置现代阁楼？我们要组织哪种家具？”



一切都回到AWS

构筑通向所有AR / VR设备和平台的桥梁，这是一种聪明的方法，可以降低进入AR / VR开发的门槛，不仅对B2B公司而且对整个开发人员而言。 同时，Somerian背后最引人注目的业务激励措施是作为一种工具来推动更广泛的AWS使用。 对于试用新服务的现有客户以及后来开始使用Amazon的存储，计算，处理，人工智能和其他服务的Sumerian新用户而言，都是如此，因为它们都已集成到体验中。 定价模型也很有吸引力，因为亚马逊不收取任何前期费用。 AWS仅对您使用的内容收费。

这就是亚马逊认为更大的循环的一部分，所有事物都流经AWS。 数据来自IoT设备，由AWS Lambda函数处理，部署在AWS Greengrass上，到达AWS IoT，在那里训练机器学习模块，最终以3D模型的形式被拉入Sumerian的AR可视化中。



亚马逊对AR / VR未来的愿景

亚马逊希望Sumerian能够在刺激行业制造3D大众市场产品并降低成本方面发挥作用。 在AR方面，Argenti说，有了ARKit和ARCore，基本的支持因素就位了。 他说，转折点将在开发人员提供足够的应用程序和视频内容时出现。 在虚拟现实方面，亚马逊希望看到的重大变化是硬件价格下降，佩戴不再笨重，无线化。

Argenti说：“当这种情况发生时，您可以像戴眼镜一样戴上VR体验，VR将会真正起飞。” “我认为它必须像在平板电脑上观看视频或在电视上打开电视一样自然，然后才能以与当今其他屏幕相同的水平用于主流消费。 由内容创建者，广告商，最终用户以及满足这些用户需求的公司围绕它开发一个完整的生态系统是您的工作方式。”

Argenti还强调了虚拟和混合现实体验中沉浸感的重要性。 Amazon Sumerian应用程序的目标用例之一是教育和培训。 不管您是要学习如何使用医疗设备，服务车辆还是学习新语言，他都表示将您带入一个尽可能像真实世界那样内在的环境中。

他说：“您可以坐在法国的一家小酒馆里学习语言，而无需实际在那儿。” “主持人头像正在对您说法语。 菜单为法文。 然后，在这种现实环境中，您可能会自动触摸菜单并查看其翻译，将手指移到某个项目的顶部，以查看单词变为另一种语言的可能性。 如此多的教育是根据情境进行的，因此，作为一种学习工具，拥有使您的所有感官都参与其中的体验很强大。”