IBM Watson帮助大学生学习普通话

大学在语言学习方面已经走了很长一段路，超越了传统的演讲厅课程和预先录制的课程而没有互动。 现在，学生可以在沉浸式学习环境中使用诸如人工智能（AI）和自然语言处理（NLP）之类的技术。 这就是位于纽约特洛伊市伦斯勒理工学院（RPI）校园的认知与沉浸系统实验室（CISL）的情况。 该研究所正是在这里与IBM Research合作开发了一项为期六周的夏季课程技术，在该课程中，学生可以与包括街道市场和餐馆在内的环境中的AI代理进行交互。

该课程名为“ AI辅助沉浸式汉语”，在实验室的认知沉浸式房间（CIR）（也称为“情境房间”）中提供了计算机生成的场景的360度全景显示系统。 虚拟场景发生在中国。 学生与由Watson Assistant提供支持的化身进行交谈，并获得语音和发音方面的纠正。 在CIR中，学生使用对话式AI，叙事生成，空间上下文感知以及手势和面部识别技术。

CIR代表了IBM Watson在教育领域之外在多个行业中具有多种潜力的示例。 这些行业包括农业，人力资源（HR）和车队管理。

在RPI上，除了Watson Assistant之外，学生还在研究中使用Watson语音转文本，Watson语音转语言和语言翻译器。

学生在RPI校园中使用AI学习普通话。 （图片来源：IBM Research / RPI）

积极的学习经历

对于RPI的大三学生Julian Wong而言，沉浸式AI体验是一种学习普通话的诱人方式，因为它为他提供了一种更加积极的学习方式。 由于普通话是一种音调语言，其音高变化可以改变单词的含义，因此AI体验中的化身会提供有关音调的反馈，以确保Wong和其他学生都能正确获得发音。

Wong说，在CIR中使用AI可以与正常的课堂时间保持良好的平衡。 Wong说：“与计算机交谈……肯定会在很多方面帮助学习该语言，尤其是语言技能。”

黄的普通话班每周开会四次。 在星期一和星期五，他与RPI副教授Helen Zhou一起在传统教室里上课。 在那里，他学习了新的词汇，并对短语和语法结构进行了介绍。 在周二和周四，课程在CIR开会，学生与虚拟特工进行对话。 Wong说，在餐厅环境中，学生可以完成整个过程，包括坐在餐厅里坐下来，看菜单，点菜，与服务生交谈如何准备食物以及支付账单。 其他环境包括花园，市场和学校校园。

周说，沉浸式教室的普通话课不同于传统环境，因为它提供了语言和视频的多模式体验。 她说，传统课程将减少沉浸感和互动性。 周说：“在沉浸式教室的模拟中，我们有两个特工互相搏斗，试图说服学生购买产品。” “因此，学生将通过个人经历来理解，而不是仅仅观看视频或听讲座。我相信，与仅仅从课本中学习或听录音带相比，他们将更容易理解文化。”

在CIR中，学生参加与他们互动过的场景有关的测验，并举手表示答案。 房间内摄像头的计算机视觉技术可以捕捉他们的手势。 AI助手进行与场景有关的测验，学生必须用中文短语回答。

Wong解释说：“如果要选择屏幕上的弹出窗口之一，则可以伸出手，手掌张开，然后合上手。” “您可以选择当前光标所在的位置。对于小测验，如果您知道正确的答案是什么，则可以将手移到要选择的字符上，然后合上手以选择它们。它会告诉您是否正确。”

虚拟座席大多数时候都会了解学生，除非他们可能没有将麦克风靠近嘴。 该系统具有不同的语音识别设置，可以根据学生的发音来选择他们。 如果您没有教授在场，它还会在对话中提供即时反馈。 普通话班的学生可以在自己的时间上访问网站以访问语音剪辑进行练习。

RPI的沉浸式体验的一个很酷的功能是空间上下文感知，其中屏幕上的多个虚拟代理可以告诉您与哪个人进行眼神交流。 Wong说：“如果您在看一个特工时说些话，那么那个特工将做出回应，而不是另一名特工。”

一个学生在RPI的普通话课程中使用IBM Watson手势和面部识别技术。 （图片来源： IBM Research / RPI ）

沉浸式体验如何发展

当语言教授和游戏设计教授讨论一种更好的语言教学方法时，就产生了RPI的沉浸式体验。 IBM Research认知用户体验总监兼CISL主管Hui Su表示，开发角色扮演游戏的计划很快就变成了关于如何通过模拟真实场景来教授普通话的讨论。 IBM和RPI从2015年底开始开发该课程，并在那时建立了联合实验室。 此后不久，CISL就形成了。

苏说：“该实验室的目的是建立认知和沉浸式环境，以改善小组活动，在学习和决策过程中增强小组的智慧。” “我们还专注于建立认知沉浸式会议室……以查看紧急情况的数据，并试图理解信息并为决策者提供决策或建议。”

作为AI语言学习计划的一部分，IBM和RPI正在试验音高轮廓分析。 Su介绍了这项技术的工作原理。 苏说：“当你说一个音节时，当你说出一个音节时，底层的技术将捕获声音，并产生一个视觉轮廓，说明你如何发音该音节。” “然后，它使用该视觉轮廓，并将该视觉轮廓与母语人士的视觉轮廓进行比较。”

然后，学生可以调整其发音以达到正确的语气。 他们将了解到他们需要更改某些音节的发音。 Su表示，借助学生在Watson技术的沉浸式教室中学习普通话所获得的知识，他们将对在现实生活中进行交流充满信心。

Su说：“整个想法是通过我们的沉浸式环境和AI技术提供足够的文化背景，使学生能够练习运动。” “因此，他们不会像现实生活中的人那样担心。”

一个学生使用IBM Watson技术在虚拟餐厅环境中练习普通话。 （图片来源： IBM Research / RPI ）

科技产业与学术界之间的桥梁

IBM和RPI能够在IBM研究人员和教职员工之间架起桥梁，并将IBM的研究人员嵌入Su校园。 同时，RPI的班级教授Zhou还向设计师，用户和老师提供了有关如何改善课堂沉浸式体验的反馈。

“我需要立即给他们反馈，以调试或改进设计，以便我们为学生提供更自然的教室，”周说。 “因此涉及很多工作，但这是值得的。”

语言学习的未来

• 2019年最佳语言学习软件2019年最佳语言学习软件
• IBM在多个行业中发布了经过培训的Watson AI工具IBM在多个行业中发布了经过培训的Watson AI工具
• AI真的会说我们的语言吗？ AI真的会说我们的语言吗？

周说，这种沉浸式环境非常有价值，因为它能够提供看似真实的环境。 周说：“人工智能沉浸式环境不仅可以增强学生的口语和听力，还可以在现实生活中使用该语言的实用性。” “这就是为什么AI对我来说是更理想的讲师，这样学生就可以早日使用语言的感觉，甚至对于初学者也一样，而无需前往该国。”

RPI提供的多模式学习环境将扩大AI在课堂上的作用。 借助AI通过虚拟代理提供的经验，学生将准备好使用必要的语言技能来应对现实世界中的各种情况。