人工智能神经网络学习时不应该信任

神经网络信心

麻省理工学院研究人员已经为深度学习神经网络制定了一种方式,以迅速估计其产出的置信水平。提前可以提高AI辅助决策的安全性和效率。信用:麻省理工学院

在AI辅助决策中估计不确定性的更快方式可能会导致更安全的结果。

越来越多地称为深度学习神经网络的人工智能系统用于为人类健康和安全至关重要的决策,例如在自主驾驶或医学诊断中。这些网络擅长识别大型复杂数据集的模式,以帮助决策。但我们如何知道他们是正确的?亚历山大阿米尼和他的同事麻省理工学院和哈佛大学想知道。

他们开发了一种快速的方式,即神经网络到紧缩数据,并且不仅仅是一种预测,而且还基于可用数据的质量来输出模型的置信水平。提前可能会拯救生命,因为深度学习已经在今天的现实世界中部署。网络的确定性水平可以是自主车辆确定“全部清楚地通过十字路口”和“它可能清晰,所以停止以防万一。”

目前神经网络的不确定度估计方法往往是计算昂贵的,并且对于分秒决策相对缓慢。但是Amini的方法,称为“深刻的证据回归”加速了这个过程,可能导致更安全的结果。“We need the ability to not only have high-performance models, but also to understand when we cannot trust those models,” says Amini, a PhD student in Professor Daniela Rus’ group at the MIT Computer Science and Artificial Intelligence Laboratory (CSAIL).

“这个想法很重要,很重要。它可用于评估依赖学习模型的产品。通过估计学习模型的不确定性,我们还要学会从模型中期望的错误,以及缺少数据可以改善模型的错误,“Rus说。

Amini将在下个月的神经斯会议上展示该研究,以及Rus,以及索勒尔和塞尔瓦和塞纳瓦·维泰比,CSAIL主任,CIT斯蒂芬A. Schwarzman Collectument of Cosail副主任。和MIT和哈佛大学的麻省理工学院和Ava Spwart的研究生和研究生。

有效的不确定性

在一个上下历史之后,在某些情况下,深入学习在各种任务中表现出显着的性能,即使超过人类准确性。而现在,深入学习似乎在计算机去的地方。它燃料搜索引擎结果,社交媒体饲料和面部识别。“我们使用深度学习取得了巨大的成功,”艾米尼说。“神经网络非常擅长了解了99%的时间的正确答案。”但99%的人不会在生活中削减它。

“有一件事已经耗尽的研究人员是这些模型知道并告诉我们他们可能是错误的能力,”艾米尼说。“我们真的很关心1%的时间,以及我们如何可靠有效地检测这些情况。”

神经网络可能是巨大的,有时充满了数十亿个参数。所以它可以是一个沉重的计算升力只是为了得到一个答案,更不用说置信水平。神经网络中的不确定性分析不是新的。但以前的方法,遭到贝叶斯深度学习,已经依靠运行或抽样,多次神经网络来了解其信心。该过程需要时间和内存,这是一种在高速流量中可能不存在的奢侈品。

研究人员设计了一种从单一的神经网络中估计不确定性的方法。他们设计了膨胀输出的网络,不仅产生了决定,而且产生了一种新的概率分布,捕获了支持该决定的证据。这些分布称为证据分布,直接捕捉模型对其预测的信心。这包括底层输入数据中存在的任何不确定性,以及模型的最终决定。这种区别可以通过调整神经网络本身或输入数据是否只是嘈杂来发信号信号是否可以减少不确定性。

信心检查

为了使他们的方法进行测试,研究人员始于一项挑战的计算机视觉任务。他们培训了他们的神经网络,以分析单眼图像并为每个像素估计从相机镜头的深度值(即距离距离)。自主车辆可能会使用类似的计算来估计其对行人或另一辆车的靠近,这不是一个简单的任务。

他们的网络的表现与以前的最先进的模型有关,但它也获得了估计自己的不确定性的能力。正如研究人员所希望的那样,该网络对预测错误深度的像素进行了高的不确定性。“它非常校准网络使得网络使得我们认为是判断新的不确定性估算能力的质量中最重要的事情之一,”Amini说。

为了强调他们的校准,该团队还表明,该网络对“超出分布”数据进行了更高的不确定性 - 在培训期间,从未遇到过的全新类型的图像。在他们在室内家庭场景上培训网络后,他们将其批量繁多的户外驾驶场景。该网络一直警告说,对新颖的户外场景的回应是不确定的。该测试突出了网络在用户不应该对其决策中充分信任时的标志的能力。在这些情况下,“如果这是医疗保健申请,也许我们不相信模型给予的诊断,而是寻求第二种意见,”艾米尼说。

网络甚至知道照片被篡改,潜在地对冲数据操纵攻击。在另一项试验中,研究人员在他们馈送到网络的一批图像中提升了对抗性噪声水平。效果是微妙的 - 对人眼几乎察觉 - 但网络嗅探这些图像,以高水平的不确定性标记其输出。这种声音警报的能力在伪造的数据上可以帮助检测和阻止对抗性攻击,这是一个日益令人兴趣德刀

深刻的证据回归是“一种简单而优雅的方法,推进不确定估计领域,这对于机器人和其他真实世界的控制系统很重要,”Raia Hadsell,Deepmind的人工智能研究员没有参与工作。“这是以一种新的方式完成,避免了其他方法的一些凌乱方面 - 例如抽样或合奏 - 这使它不仅优雅而且还可以计算地更有效 - 一个获胜的组合。“

深度证据回归可以提高AI辅助决策的安全。“我们开始看到这些[神经网络]模型在研究实验室中涓涓细流,进入现实世界,进入触摸人类威胁危及生命的后果的情况,”Amini说。“该方法的任何用户,无论是车辆的乘客座位中的医生还是人,都需要意识到与该决定相关的任何风险或不确定性。”他不仅能够快速标记不确定性,而且还可以使用它来制作更保守的方案,如自主车辆即将到达交叉路口的自治车辆。

“任何将来都可以部署机器学习的领域最终需要具有可靠的不确定性认识,”他说。

通过TOYOTA-CSAIL联合研究中心,由国家科学基金会和丰田研究所支持这项工作得到了支持。

1条评论在“人工智能神经网络时,当它不应该信任时”

  1. ......很难学习AI来信任其所有者,如果该所有者是骗子,它不是AI的问题,它是它使用它的问题以及如何......

发表评论

电子邮件地址是可选的。如果提供的话,您的电子邮件不会发布或共享。