2018年05月09日 | 360汽车安全新设想 为人工智能测试提供“尺子”

日前，360网络安全北美研究院负责人，360 IoT安全研究院院长李康与360智能网联汽车安全实验室总监张青联合宣布360的一项全新研究成果，可为人工智能的算法测试尤其是智能汽车的测试提供了一把“尺子”，简单理解就是人工智能算法的调试器。

这把“尺子”什么样

李康表示，深度学习系统是基于分层统计学方法得到的结论，和传统的计算机软件系统不一样，并没有专门的测试平台对系统进行测试和调试。

“传统的软件测试我们有污点跟踪、覆盖测试等各种方法，而对于深度学习测试来说，工程师面对的是一个黑盒。”李康说道。

人工智能时代的大数据就是过去的源代码，而对于现阶段机器学习测试来讲，更多是依靠数据测试，人肉测试。所以我们也能看到Uber等无人驾驶汽车在实际道路上反复驾驶测试，但是对于测试人员来说，并不知道数据之中的逻辑，也无法判断自己测试结果的好坏，不了解有多少神经元进行了测试，给调试带来了困难。

360目前提供的方案可以给深度学习正确或错误的决策提供输入输出关系，并且相对量化测试的程度，从而提高深度学习黑盒测试的准确率，通过热力图等可视化界面，让工程师了解哪些神经元反复执行，哪些神经元一直都没有激活。

实际道路测试10个小时和100个小时的测试结果肯定不同，下雨天测试和太阳底下测试的效果也不同，但究竟不同的有多少，就需要李康的这把“尺子”丈量，通过量化的比对，可帮助开发人员进行深度学习系统的调试与评测工作。

把深度学习变得可解释

“过去包括丰田刹车门等事故，可以精确地定位到哪个程序有问题，而Uber、特斯拉的事故，很难真正判断出出错的逻辑和原因是什么，因为深度学习大多数是经验性的，可能更换了一个场景，测试结果就完全不对了。”李康说道。

目前360所做的被测模型全部是由英伟达官网提供的开源数据进行测试，360也希望可以和更多车厂、智能驾驶系统商合作，共同对数据进行测试以验证这一方案的可靠性。

李康也表示，这一调试器方案设想不只是针对智能驾驶汽车，而是针对所有带人工智能和神经元的测试系统。“我们要把不可解释的深度学习变成可解释的。”李康说道。

李康在安全对抗网络方面有着丰富经验，是Disekt、SecDawgs CTF战队创始人，是xCTF和蓝莲花战队的启蒙老师，2016年DARPA Cyber Grand Challenge的决赛获奖者。相信随着越来越多的深度学习公司尤其是在自动驾驶领域，意识到测试的安全性和重要性之后，360的这一方案会得到业界认可。