当AI不再值得信任时,我们能提前预警到什么

终结者系列里的科学家莫名其妙地相信AI,最终招致人类毁灭的结局。幸好现实中的科学家更加谨慎,如果我们真的打算构建天网系统,让AI主导人类的未来的话,我们已经开发出了前置技术,可以探知AI神经网络里对人类有敌意的信号。

深度学习神经网络旨在通过权衡多种因素来模仿人的大脑,结果变成了某种黑箱子,人类已经无法分析内部的数据处理模式,只能通过输入和输出获取结果。

尽管距离天网还有一段距离,但人工智能已经开始主导某些领域里的决策,如自动驾驶和医疗诊断。我们当然需要保证AI的神经网络系统的可靠性与可预测性。

麻省理工学院计算机科学与人工智能实验室(CSAIL)的计算机科学家Alexander Amini说:“我们不仅需要拥有高性能模型的能力,而且还需要了解它们什么时候不再可信。”

这种评估置信度的手段被称为“深度证据回归”,基于输入的数据质量来为AI打分——训练所用数据更准确和全面,AI就应该反馈给我们更加精确的预测。

尽管以前在神经网络中已内置了类似的防护措施,但新工具在速度上非常优异,没有过多的计算需求——它仅运行一次,而非多次运行,且在输出结果的时候,会给出置信度。

计算机科学家Daniela Rus说:“这个想法很重要,并且广泛适用。它可以用来评估依赖于机器学习模型的产品。通过估计学习模型的不确定性,我们还可以了解模型会带来多少误差,以及哪些缺失数据可以改善模型。”

即使神经网络在99%的时间里保持正确,但是在实际生活中,损失的1%也会产生严重的后果。研究人员说,尽管这项工作尚未经过同行评审,但他们相信新的简化信任测试可以帮助提高实时安全性。

“我们看到更多的[神经网络]模型从研究实验室流入现实世界,正在触及人类的生活,从而可能危及到我们的生命。该方法的任何使用者,无论是医生还是坐在汽车乘客座位上的人,都需要意识到与AI决策相关的任何风险或不确定性。”

完整研究将在12月的NeurIPS会议上发布,并提供在线论文下载。

原文:https://www.sciencealert.com/neural-networks-are-now-smart-enough-to-know-when-they-shouldn-t-be-trusted

0

更多精彩

被称为“吸血鬼雀”的小鸟

2021年1月17日 子曰君 0

说起吸血鬼,除了蝙蝠,或刀锋战士和吸血鬼猎人巴菲外,还能让人联想到一种可爱的雀科小鸟——好吧,或许只有鸟类学家才会。 但是确实存在“吸血鬼雀”,它们以大鸟的鲜血 […]

第一次约会后如何跟进

2021年1月16日 子曰君 0

一次好的初次约会会像是龙舌兰酒(tequila):它会让你做点蠢事。它会让你把那些个人边界或是社交原则抛在脑后,在凌晨四点给那个人发短信。但你也没必要掉进这种兴 […]

Be the first to comment

Leave a Reply

Your email address will not be published.


*