团结如何在AR，VR和AI上构建未来

Unity是世界上使用最广泛的3D开发平台。 根据应用程序分析公司Apptopia的数据，它为前1000大手机游戏中的40％和所有新手机中的一半以上提供动力。 与虚幻引擎一起，两个流行的游戏引擎为网络上的大多数游戏体验奠定了基础。

但是，3D开发空间比以往任何时候都更加拥挤，尤其是在增强和虚拟现实开发方面。

Unity可以作为构建块或与大多数更新的AR / VR平台（包括Apple的ARKit和Google的ARCore）集成，但现在也正在处理来自Amazon Sumerian和其他拖放式界面的竞争，以简化用户体验。技术创造者较少。

为了在竞争中保持领先地位并为不断发展的新设备和3D体验生态系统发展平台，Unity推行了由AR / VR和AI部门领导的两管齐下的战略。 PCMag与Unity的VR / AR品牌解决方案全球负责人Tony Parisi以及Unity的AI和机器学习副总裁Danny Lange进行了深度交流，深入了解了Unity的未来以及平台及其创造的游戏如何变得更加聪明。您甚至意识到了这一点。

Unity对AR / VR的看法

IDC预测，今年在AR / VR产品和服务上的支出将达到270亿美元，而且这个市场还在不断增长。 Parisi说，Unity旨在支持太空中的每个平台。

“三，四年前，在我加入之前，Unity开始对新兴的VR市场（Oculus Rift，HTC Vive，Samsung Gear VR等）进行重大投资，目的是为开发人员创建一种功能全面的系统因此，他们不必在如何支持这些平台的低级细节上乱搞。” “我们已经到了编写大多数应用程序一次的地步，您可以将其移植到这些设备上。”

他说，这并非普遍如此，因为为移动查看器头戴式耳机创建的应用程序的设计与针对基于PC的体验而优化的应用程序有所不同。 但是根据Unity的内部指标，该平台目前支持69％的Oculus Rift体验，74％的HTC Vive，87％的Gear VR和91％的Microsoft HoloLens混合现实（MR）体验。

• 与不断发展的生态系统一起工作

  自90年代中期以来，Parisi一直从事AR / VR的工作，从事3D可视化工作。 他与他人共同创建了WebML下的VRML文件格式和其他规范，并为其他多家VR公司成立并工作。 他于2016年末加入Unity，负责领导AR，VR，MR和更广泛的扩展现实（XR）伞的广告，营销和战略。

  ”。在《 Pokemon Go》热潮之后，这有点像是关于位置的简单化AR，去某个地方并找到Pokemon，再加上一点相机。这是我们继续扩大的因素。关于位置的因素与沉浸感有关。”

  在AR方面，Parisi谈到了Facebook和Snap如何使用其Camera Effects和Lens Studio开发人员平台来发展您可以使用智能手机相机来绘制周围环境的功能。 桥接智能手机和基于耳机的AR就像《星球大战：绝地挑战》游戏一样，该游戏也是由Unity制作的，可与智能手机和联想的Mirage AR耳机结合使用。

  Parisi说，下一波是通过苹果公司的ARKit和谷歌的ARCore支持AR操作系统的手机。 与Amazon Sumerian一样，Unity与Apple和Google合作使用3D工具创建AR内容。 Unity也是开源Google工具（例如Tilt Brush和Blocks）的基础。 Parisi设想了跨移动操作系统的共享增强世界。

  Parisi说：“ Apple和Google都是伟大的合作伙伴。我们与他们有着深厚的关系，以通过Unity的3D工具开发和支持这些体验和XR内容。” “我们的引擎中内置了许多不适合编码人员，开发人员或专业设计师使用的民主化创建工具。更好的是，您可以像任何其他软件一样，将Blocks模型或Tilt Brush美术作品带入其他Unity应用程序中进入Unity。”

  在MR和VR方面，设备和软件的主要参与者是Oculus，HTC，当然还有Microsoft及其Windows Mixed Reality生态系统。 Parisi说，Unity可以为所有这些应用程序构建3D应用程序，但是微软正在模糊混合现实和虚拟现实之间的界限。 HoloLens是一种混合现实设备，但Windows Mixed Reality耳机是VR。

  Parisi说：“整个行业仍在紧抓我们应称之为所有这些的问题。” “取决于您是否要设计将数字世界与现实世界混合在一起的内容，而不是进入一个完全沉浸式的世界，您面临着不同的挑战。在VR中，性能挑战更高。您必须创建一个完全合成的世界。这意味着PC的VR头戴式设备以每秒90帧的速度渲染，从而大大提高了性能。混合现实的强度较低，但还必须根据所处理的整个环境进行实时调整。”

• 3D内容创作的演变

  Unity是用于开发沉浸式内容的民主化3D创建工具。 您可以购买免费版，Plus版和Pro版，以支付每月的订阅费用，而且它是免版税的。 因此，您使用Unity构建的是您自己的。 Unity目前支持构建约30种不同平台，从智能手机和PC操作系统到大量游戏系统，智能电视和VR耳机。

  最近，Unity已用于创建各种各样的沉浸式内容和体验。 其中包括从名为Spheres的圣丹斯电影节系列，可以让观众探索VR中两个黑洞的宇宙碰撞，再到迪斯尼的CocoVR游戏，该游戏使用360度投影将玩家带入皮克斯电影的《死亡之地》。

  Parisi还谈到了使用Unity来制作有趣的VR游戏（如Beat Saber）和增强体验，包括MLB At Bat AR应用程序，该应用程序使棒球比赛的观众将智能手机对准游戏，并在球员上方的屏幕上查看统计信息。

  Unity可以构建所有这些类型的应用程序，但是在设计中需要考虑很多细微差别。 基于PC的体验更加强大，可以在更丰富的环境中使用更大的3D模型，Oculus Rift和HTC Vive等头戴式耳机还可以为您提供输入控制器以及位置和房间比例跟踪功能。 Parisi表示，与在Google Daydream View等头戴式耳机上实现3自由度观看体验相比，您必须针对这种应用程序进行设计。 这并不像按下按钮那样容易，但是Unity致力于确保您创建的3D内容可以从一台设备移动到另一台设备，而无需进行过多的重新编码。

  除了用于AR / VR体验的游戏和娱乐应用程序外，Unity最近解决的问题之一是如何改善其3D创作环境，以适应不同行业，技能水平和用例。 与旨在满足高级编码人员和非技术用户的低代码开发工具一样，Unity正在设法使界面，资产存储以及其他平台的功能适用于不同类型的公司和用户，以扩展其客户基础。

  Parisi说：“我们研究了AR和VR蓬勃发展的不同行业。它可能是汽车，电影，建筑，医疗或其他组织中正在向数十万个席位分发软件的组织。” “这是完全不同的世界，不同的企业，不同的背景和生产工具。我们最初专注于移动和游戏行业，因为那是增长的动力，但现在方向盘已经旋转，选择该剧本并将其交付的时机恰到好处。进入其他一些行业，因为世界正在走向B2B。”



当前的AR / VR限制

Parisi说，目前，更广泛地采用MR和VR的最大障碍不是缺乏内容，而是在舒适性和便携性与计算能力方面的硬件限制。 即将面世的Magic Leap头戴式耳机的艰苦历程可作为教科书的案例研究，试图将功能强大的处理器缩减为足够小巧的大规模消费形式。

Parisi说：“创建一种混合现实体验是一项挑战，该体验可以在您的客厅中走动而不是在空旷的街道中穿行。” “我们仍然在硬件上进行迭代，以找到计算能力和便携性之间的最佳结合点。有了VR头戴式耳机，您可以四处走动，直到感觉到电线被钩住。我们需要另一个传输数据的方式。这根线很痛苦；它破坏了沉浸感。我在其他地方呆了一分钟，但后来我的脚有些纠结。”

在AR方面，限制是不同的。 它更多地涉及实时3D图形的计算机视觉和处理能力。 当涉及计算机视觉并使用不同类型的机器学习（ML）来填补空白，并使AR / VR体验变得更加智能和无缝时，这就是Unity不断发展的AI部门的来历。

• Unity的AI策略

  从改善游戏玩法和引擎设计到跟踪用户行为以及改变游戏开发人员通过其应用获利的方式，Unity以多种方式使用AI。 AI团队由Unity的AI和机器学习副总裁Danny Lange负责，在全球拥有100多名员工。

  Lange约18个月前加入Uber，曾担任Uber机器学习主管和Amazon Machine Learning总经理。 他还曾在IBM和Microsoft工作。 他以不同的ML观点进入游戏世界，并帮助将Unity的传统ML努力转变为更具雄心的项目。

  兰格说：“像亚马逊和优步这样的企业非常依赖机器学习。从无人驾驶汽车的世界进入这种3D游戏环境，您想寻找一个突破人工智能极限的理想之地。”

  兰格继续说：“当我过来时，正在进行许多机器学习的工作，在这些学习中，我引入了强化学习和动态系统的经验，可以从根本上改善行为。” “这是我们在亚马逊和优步都做过的事情。无论您是要寄书还是为优步无障碍提货而进行优化，这些东西并不是真正的人坐在那里并设计，而是计算机系统在学习如何分辨您在哪里遇到您的Uber司机。当我来到Unity时，我看到了将这些想法带入游戏世界的巨大机会。”

  正如Lange解释的那样，Unity的ML项目涵盖了从游戏到获利的所有内容。 在一个实例中，团队寻找具有特定支出模式的用户群，Unity开发人员希望通过广告或应用内购买从中获利。 然后，Unity将这些结果呈现给开发人员，以便更有效地长期参与。

  该公司还应用ML来改善游戏玩法，引擎设计并在内容创作过程中提供帮助。 Unity的总体策略在更高级别的服务级别ML的开发方面和学术方面的更高级的深度学习研究之间被分解。 兰格说，这也与Parisi部门在XR开发方面的工作息息相关。Uniti为研究人员提供了3D图形环境，以测试新的ML算法。

  兰格说：“ AR和VR实际上是机器学习和AI的绝妙领域。我经常认为AI是一种改进的现实，而现实则难以应对。” “很难提出固定的算法来理解房间中的所有事物并可以覆盖该房间。您无法真正进行编码。您必须使用机器学习和AI来将虚拟对象放置在一个房间中，以识别表是在表面上，如果将其放在桌子的边缘，它将掉落。在这些区域中，机器学习由于动态的现实世界行为而起着非常重要的作用；了解虚拟空间的深度和尺寸。旨在发挥深度学习的领先优势，以革新这些游戏的创建和行为方式。”



幕后的机器学习

在游戏开发和游戏玩法方面，Lange再次拉开帷幕，了解Unity如何将ML算法编织到体验中以自动化创建和迭代过程。

兰格说：“我们捕获了很多行为数据：游戏开始时，您玩了多长时间，游戏中经历了哪些场景。” “从这个意义上讲，我们在类似于Amazon或Google的情况下使用机器学习和数据分析-收集行为数据并将其反馈给游戏开发者。这相当于Web分析，为您提供可操作的数据立即使用以查看玩家处于哪个级别，哪些场景不起作用等。”

这些数据可用于优化应用内购买和广告等因素，但Lange说，该算法有助于在向用户显示其感兴趣的内容与将游戏货币化到极限之间找到平衡。 在宏观层面上，他解释说，这更多的是要创建行为数据的自我延续循环，以帮助游戏有机地发展，从而使手工开发人员的工作变得不那么重要。

兰格说：“机器学习是您能够获取数据并开始建立联系的地方。” “当您像在游戏中经常看到的那样将其放入一个循环中时，数据会导致游戏和玩家的预测。这会创建更多的行为数据，现在您实际上拥有一个可以与之交互并学习的系统从用户以及他们之间的交互方式。我们的一大努力是使用AI技术来创建更多随使用而发展的有机游戏。”

• 机器学习代理

  Unity做到这一点的最重要方式是通过ML Agents，这是一个开放源代码的beta计划，它将游戏和3D模拟转变为自主智能代理的训练场。 本质上，Unity使开发人员可以在任何情况下部署这些灵活的ML代理，它们的作用就像海绵：根据您将其放入的任何虚拟环境，以自定义方式学习和发展。

  “我对机器学习与AI的定义是，通过机器学习，您可以收集数据，训练系统，仅此而已。” “人工智能是指系统不断进行自我训练并变得越来越好的时候。我们希望游戏能够发展，而促进这一发展的公共举措之一就是机器学习代理。”

  Unity的ML代理有多个目标受众。 对于开发人员来说，一种情况是允许这些自动角色到处移动并与玩家互动。 ML代理无需编码其动作，而是通过模拟不同的关卡来学习增强功能，并帮助开发人员快速测试充当虚拟玩家的游戏，这些玩家并行测试数千个游戏关卡。

  ML代理的另一个用例围绕叙述。 兰格说，Unity正在测试代理人，试图弄清楚玩家接下来会做什么，然后逐步跟踪他们。 这个想法是要了解人类玩家正在做什么，以及游戏将如何在更大的叙事方案中抵消那些决定。 在数百万玩家活跃的游戏中，ML Agent可以大规模学习和调整游戏的关卡或故事情节。

  在上面的“ Goodboy”模拟中，Lange的团队使用Unity的ML-Agents工具箱中的机器学习模型构建了一个简单的手机游戏。 在游戏中，这只小柯基犬用可爱的动作拿起一根棍子，而没有经过硬编码。 相反，他的动作和行为由ML代理控制。 Unity计划与平台合作伙伴合作，以将ML代理扩展到Unity支持的所有平台。

  “如果您在我们所说的叙事层面上考虑游戏中的这种能力，并不是必须控制游戏中角色的角色，而是游戏叙事本身。因此，您基本上是让游戏尝试将您玩到某种程度非常激动人心的道路。因此，您可以选择沿路径左移或右移，并且游戏基本上会根据预测的结果来编排一些事件，即从现在起五，十，十五步。”兰格说。

  他继续说：“你可以想象在多人游戏中这可能会如何工作。” “一个经典的例子：游戏开始时，两个人见面。一个人抢走了另一名玩家的所有金牌，然后彼此之间鲜血相连。因此游戏将确保每个玩家最终的叙述在一个生存的地方在一起，他们将不得不一起工作。他们需要过一座桥，他们只能一起做，否则他们就无法参加比赛了。模拟，但使用ML Agents，游戏可以动态创建此类模拟。”

• 建立AI辅助的虚拟世界

  上面的“金字塔”演示环境展示了名为“好奇心”的强化学习项目的发现，在该项目中，ML Agents快速探索了一个世界，以发现地图上的隐藏奖励。

  Unity AI操作的另一面涉及在生成3D内容时使用ML创建更具沉浸感的场景和纹理。 兰格说，这是一个新兴但很有前景的领域，游戏中的自治系统可以生成运动控制的内容并填充自然动作，学习角色，人类或动物的动作方式，然后在游戏中模仿该动画。

  兰格说：“我们有成千上万的开发人员对此进行了测试。” “在学术方面，我们开始看到许多NASA的学生和麻省理工学院以及西雅图的Paul Allen研究所的博士在Unity上发布文章。我刚与伦敦的开发人员见面，他们正在为NPC的开发而努力， iPhone和Android设备的图形性能受到限制。”

  Unity还拥有一个名为Extreme AI的引擎，用于将人物映射到角色，类似于Amazon Sumerian如何构建注入AI的“主机”。 Lange说，在过去一两年中，对于游戏中不可玩的角色，Unity已开始尝试进行这种游戏以进行更自然的模拟。

  兰格说：“因此，如果您想建造机器人或自动驾驶汽车或设计房屋，则可以在Unity中进行，并在NPC中填充房屋。” “您可以模拟生活在该房屋中的1, 000个家庭，并收集有关人物移动方式的信息。门是否以正确的方式打开？房间中是否有足够的光线？如果在云中进行此操作，则可能有1000座不同的房屋拥有1000个不同的家庭。这似乎超出了游戏本身的范围，但所有这些的根本在于游戏技术。”

• 沉浸式应用程序的未来

  随着公司的AR / VR和人工智能野心的扩大，Unity不仅在游戏方面寻求新一代3D应用程序。 一个例子是汽车行业，Unity最近为此成立了一个专门的团队，以帮助为奥迪，丰田，雷克萨斯和大众等客户创建AR / VR内容。 Parisi表示，Unity希望利用其跨平台开发者生态系统的力量将AR / VR应用程序创建带入新行业。

  Parisi说：“我们正在改变设计汽车，制作电影的方式；作为一家知道如何出售给游戏开发商的公司，如何做所有这些事情。” “例如，福特想在他们的创新实验室中创建一个应用。他们拥有高端硬件和软件，然后Rift出现了，他们决定只在游戏PC上做。他们发布了广告很有可能底特律地区的某个人是Unity程序员。一个人开始制作原型，变成一个三人组成的创新团队，然后他们开始开发新的方法来进行汽车设计以替代物理原型。”

  在AR和电子商务方面，Parisi还发现了减少摩擦的巨大潜力。 即将到来的最大拐点是万维网联盟（W3C）即将批准WebXR，该新标准将使AR和VR体验作为Web应用程序直接在台式机和移动浏览器中运行。

  想象一下，在您的社交Feed中看到一个用于新厨房设备的广告，然后将该3D模型拖到与您的相机链接的混合现实环境中，以查看其在厨房中的外观。 为了大规模使用这种3D广告技术，Parisi说，网络体验必须是无缝的。 如果您必须安装一个应用程序以查看每个带有虚拟信息的3D对象，仅是将其连接到您的相机，该模型就无法正常工作，但是Unity本身将其视为一种工具，并且可以像WebXR这样的标准来弥补这些兼容性差距。

  Parisi设想了一个未来，AR / VR体验的形式因素将是一个独立的娱乐设备，无论是家庭体验，基于位置的应用程序还是用于培训的企业模拟。 他还说，用户界面需要完全沉浸其中。 这项技术还不存在，但他不相信它离人们可能想的那么遥远。

  Parisi说：“有些人认为，要拥有真正的沉浸式头戴式耳机或具有足够计算能力的眼镜还需要数十年的时间。” “考虑到微型化方面的所有奇迹般的突破，所有这些计算方面（CPU，GPU，5G网络）在几年之内，我们也许就可以将其中一些处理移至边缘或云端。可以是任何东西，但共同点绝对是沉浸式用户界面，您可以在其中按下按钮并体验完全实现的数字字符或将数字世界与现实世界融合在一起的分层环境。”