机器学习模型捕捉面部表情的细微变化

科学家帮助计算机理解人类的情感

麻省理工学院媒体实验室研究人员开发了一种机器学习模型,将电脑接近将我们的情绪视为人类所做的自然。该模型更好地捕获了微妙的面部表情变化,以更好的测量情绪。通过使用额外的培训数据,该模型也可以适应一个完全新的人,具有相同的功效。

个性化的机器学习模型捕捉面部表情的细微变化,以更好地衡量我们的感觉。

麻省理工学院媒体实验室的研究人员开发出了一种机器学习模型,使计算机在理解我们的情感方面又向前迈进了一步,就像人类一样自然。

在不断发展的“情感计算”领域,机器人和计算机正在被开发来分析面部表情,解释我们的情绪,并做出相应的反应。应用包括,监测个人的健康和幸福,测量学生对课堂的兴趣,帮助诊断某些疾病的症状,以及开发有帮助的机器人同伴。

然而,一个挑战是,人们表达情感的方式有很大的不同,这取决于许多因素。在不同的文化、性别和年龄群体中可以看到普遍的差异。但其他差异则更为细微:一天中的时间、你睡了多少觉,甚至你与谈话对象的熟悉程度,都会导致你在特定时刻表达快乐或悲伤的方式出现微妙的变化。

人类的大脑本能地捕捉到这些偏差,但机器却在挣扎。近年来,人们开发了深度学习技术来帮助捕捉微妙之处,但它们在不同人群中的准确性和适应性仍不尽如人意。

媒体实验室的研究人员开发了一种机器学习模型,它在捕捉这些细微的面部表情变化方面优于传统系统,从而在训练数千张面孔图像时更好地判断情绪。此外,通过使用少量额外的训练数据,该模型可以适应全新的人群,并具有相同的效果。其目的是改进现有的情感计算技术。

“这是一种不引人注目的方式来监测我们的情绪,”媒体实验室研究员和一个描述该模型的纸质研究人员和合作的纸张oggi Rudovic说,该模型在上周在机器学习会议上展示了机器学习和数据挖掘会议上。“如果你想要具有社交智能的机器人,你必须聪明地让他们自然地对我们的情绪和情绪相应,更像是人类。”

论文的共同作者有:第一作者Michael Feffer,电子工程与计算机科学本科生;以及罗莎琳德·皮卡德(Rosalind Picard),她是媒体艺术与科学教授,情感计算研究小组(Affective Computing research group)的创始主任。

个性化的专家

传统的情感计算模型使用“一刀切”的概念。他们在一组描绘各种面部表情的图像上进行训练,优化特征——比如微笑时嘴唇是如何卷曲的——然后将这些常规特征优化映射到一整套新的图像中。

相反,研究人员将一种称为“专家混合”(MoE)的技术与模型个性化技术相结合,这有助于从个体中挖掘更细粒度的面部表情数据。Rudovic说,这是第一次将这两种技术结合到情感计算中。

在MoEs中,许多被称为“专家”的神经网络模型都被训练成专门从事一项单独的处理任务,并产生一种输出。研究人员还加入了一个“门控网络”,它可以计算出哪位专家能最好地检测到看不见的对象的情绪的可能性。费弗说:“基本上,这个网络可以辨别出不同的人,然后说,‘这就是对给定图像的正确专家。’”

对于他们的模型,研究人员通过将每个专家匹配到Recola数据库中的18个个人视频录制中的18个个人视频录制之一,是在设计用于情感计算应用程序的视频聊天平台上交谈的公共数据库中。他们培训了使用九个科目的模型,并在其他九个中评估它们,所有视频都分解为单个框架。

借助于残余网络(“Reset”),用于对象分类的神经网络,每个专家和门控网络,以及每个人的面部表达式。在这样做时,模型基于价级(令人愉快或令人不快)和唤起(兴奋) - 常用度量来编码不同情绪状态的帧。另外,六名人类专家标记为价值和唤醒的每个帧,基于-1(低水平)到1(高水平)的等级,该模型也用于训练。

然后,研究人员进行了进一步的模型个性化,在那里他们从受试者剩余视频的一些帧中馈送训练的模型数据,然后在这些视频中测试了所有看不见的帧的模型。结果表明,只有5至10%的数据来自新人口,该模型通过大幅度表现优于传统模型 - 意味着它在看不见的图像上得分和唤醒更接近人类专家的解释。

鲁道科说,这表明模型适应人口或个人对个人的潜力,或者是个体的个人。“那是关键,”他说。“当您有新的人口时,您必须有办法考虑转换数据分布[微妙面部变化]。想象一个模型,用于分析一种需要适应不同文化的文化中的面部表情。如果没有考虑这种数据班次,那么这些模型将低于。但是,如果你只是从新的文化中抽出一下来调整我们的模型,这些模型可以做得更好,特别是在个人层面上。这是最能看到模型个性化的重要性的地方。“

目前,这种情感计算研究的可用数据在肤色中不是非常多样化的,因此研究人员的培训数据有限。但是,当这些数据变得可用时,可以培训该模型以用于更多样化的人群。下一步,Feffer说,是在“一个更大的文化中更大的数据集更大的数据集”上培训模型。

更好的machine-human交互

研究人员说,另一个目标是训练该模型,以帮助计算机和机器人自动从少量变化的数据中学习,从而更自然地检测我们的感觉,更好地服务于人类的需求。

例如,它可以在电脑或移动设备的背景下运行,以跟踪用户基于视频的对话,并在不同环境下学习微妙的面部表情变化。费弗说:“你可以使用智能手机应用程序或网站来了解人们的感受,并推荐应对压力或疼痛的方法,以及其他负面影响他们生活的事情。”

这对监测抑郁症或痴呆症也有帮助,因为人们的面部表情往往会因这些情况而发生微妙的变化。“能够被动地监控我们的面部表情,“Rudovic说,“我们可以随着时间的推移,这些模型能够个性化用户和监控他们有多少偏差每天-偏离平均水平的面部表达和使用指标的幸福和健康。”

鲁多维奇说,一个很有前景的应用是人机交互,比如用于个人的机器人或用于教育目的的机器人,这些机器人需要适应评估许多不同人的情绪状态。例如,其中一个版本已被用于帮助机器人更好地解读自闭症儿童的情绪。

贝尔法斯特女王大学(Queen’s University Belfast)心理学荣誉退休教授、情感计算学者罗迪•考伊(Roddy Cowie)表示,麻省理工学院的研究“阐明了我们在该领域的真正地位”。他说:“我们正在朝着这样一种系统的方向发展,即从人的面部照片,将其划分为从非常积极到非常消极、从非常积极到非常消极的范围。”“从直觉上看,一个人给出的情绪信号与另一个人给出的情绪信号是不一样的,因此,情绪识别在个性化的情况下效果更好是很有道理的。”个性化的方法反映了另一个有趣的观点,即训练多个“专家”,并汇总他们的判断,比训练单个超级专家更有效。两者结合在一起,就会令人满意。”

纸:人体影响估算的个性化专家的混合

是第一个评论关于“机器学习模型捕捉面部表情的细微变化”

发表评论

邮箱地址可选。如果提供,您的电子邮件将不会被发布或共享。