机器学习可增强在线课堂中的非语言交流

加利福尼亚大学圣地亚哥分校娱乐与学习研究中心（CREL）的专家们已经建立了一个框架来剖析和跟踪眼部发展，以改善即将到来的虚拟教室和未来的虚拟展示大厅的指导。

加州大学圣地亚哥分校音乐和软件工程教师是一名PC音乐专家，负责协调总部位于高通公司研究所的CREL，他开始培育这种新设备，以解决在COVID-19流行期间显示音乐超过缩放的缺点。

杜布诺夫说：“在音乐学习厅里，非语言的通信，例如面部效果和身体动作，是让替补们继续完成任务、促进旋律流畅和传达即兴想法的基础。”可悲的是，在虚拟的学习大厅里，这种非语言的教学和学习受到了极大的阻碍，在那里，你没有占据类似的实际空间。”

为了解决这个问题，杜布诺夫和博士。替补演员罗斯·格里尔最近分发了一份关于一个框架的收集论文，该框架利用了眼球跟踪和人工智能，允许讲师在独特的领域与独特的替补演员或演艺人员进行视觉联系，并告诉每一个替补，当问题中的人是教育者考虑的焦点时。

专家们组装了一个模型框架，并尝试通过Zoom在加州大学圣地亚哥分校的一个虚拟音乐课堂上进行试点。

“我们的框架利用一个摄像头来捕捉主持人的眼睛，跟踪他们在屏幕上看到的地方，”电气和PC设计博士Greer澄清道。在加州大学圣地亚哥分校雅各布斯工程学院担任替补。”我们将屏幕分割成91个正方形，在确定了教师面部和眼睛的面积之后，我们设计了一个‘外观评估’算法，它给出了教育者最喜欢的框和沿这些线的最佳尺度。”

当框架感知到教育家正在看的地方的调整时，计算决定了替身的个性，并在屏幕上标注他们的名字，这样每个人都知道主持人关注的是谁。

在这项初步研究中，杜布诺夫和格里尔发现，在评估主持人的表情时，这个框架非常精确，能够在27.5×13英寸（70x39cm）的屏幕上计算出如何进入右侧点3/4英寸（2cm）的范围内。”在基本层面上，“只要有足够高质量的信息，这个框架应该在小屏幕上运行良好。”

根据杜布诺夫的说法，一个缺点是：主持人离镜头越远，眼睛就变得越谦虚，也就越难被跟踪，从而导致不太准确的外观评估。然而，随着准备信息的不断完善，拍摄目标的不断提高，以及对面部和身体动作的进一步跟踪，他认为这种框架甚至可以允许导演远距离使用一根指挥棒，并指挥一个循环的合奏交响乐团，而不管每个演奏者是否在其他地方。