2018年02月22日 | 深度学习成人工智能安全软肋潜在风险不容忽视

2018-02-22 来源：电子产品世界

　　虽然人工智能正给人类生活带来翻天覆地的变化，但是，很多人并未考虑到人工智能也存在诸多安全隐患，尤其是其核心的深度学习技术更是面临着众多潜在威胁。随着深度学习应用越来越广泛，越来越多的安全问题也开始暴露出来。下面就随网络通信小编一起来了解一下相关内容吧。

　　日前，360安全研究院结合过去一年对深度学习系统安全性的详细研究，出具了《AI安全风险白皮书》，白皮书指出：深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等可能导致人工智能所驱动的识别系统出现混乱，形成漏判或者误判，甚至导致系统崩溃或被劫持，并可以使智能设备变成僵尸攻击工具。

图1：谷歌AlphaGo围棋功力惊艳全球

　　近年来，以谷歌AlphaGo为代表的人工智能技术惊艳了世人眼球。大家都为人工智能高超的运算能力和缜密的逻辑判断所惊呆。不过，一个事实却是：AlphaGo的深度学习技术只是在封闭的环境下工作，并不与外界直接交互，因此它面临的安全威胁相对较小。此外，其他受到关注的应用往往假定处于善意的或封闭的场景，例如高准确率的语音识别中的输入都是自然采集而成，图片识别中的输入也都来自正常拍摄的照片，这些讨论没有考虑认为恶意构造或合成的场景。

　　以人工智能中最典型的手写数字识别为例：基于MNIST数据集的手写数字识别应用是深度学习的一个非常典型例子，其算法层所讨论的分类结果只关心特定类别的近似度和置信概率区间，没有考虑输入会导致程序崩溃甚至被攻击者劫持控制流。这其中被忽略掉的输出结果反映出算法和实现上考虑问题的差距，也就是所谓的人工智能安全盲点。

图2：深度学习算法与安全所考虑的不同输出场景

　　目前，已开发的深度学习软件基本都实现在深度学习框架上。应用开发人员可直接在框架上构建自己的神经元网络模型，并利用框架提供的接口对模型进行训练。但是，这种框架虽然简化了深度学习应用的设计和开发难度，但是也因为系统的复杂程度而暗藏风险。

　　一个颇为尴尬的事实就是，只要深度学习框架以及它所依赖的任一组件存在漏洞，建立在框架上的应用系统也会随之遭到威胁。另外模块往往来自不同的开发者，对模块间的接口经常有不同的理解。当这种不一致导致安全问题时，模块开发者甚至会认为是其他模块调用不合规范而不是自己的问题。

图3：深度学习框架以及框架组件依赖

　　为了掌握深度学习软件存在的安全隐患，360 Team Seri0us 团队在一个月内发现了数十个深度学习框架及其依赖库中的软件漏洞，包含了几乎所有常见的漏洞类型，例如内存访问越界，空指针引用，整数溢出，除零异常等。这些漏洞一旦被不法分子利用，就可能导致深度学习应用面临拒绝服务、控制流挟持、分类逃逸以及潜在的数据污染攻击等风险。

　　因此，在推进人工智能技术应用的同时，我们更要着眼于解决其中存在的安全隐患，使技术更好地为人类的服务。作为国内最大的互联网安全公司，未来360将致力于帮助行业及厂商解决人工智能的安全问题，提升整个人工智能行业的安全系数。

以上是关于网络通信中-深度学习成人工智能安全软肋潜在风险不容忽视的相关介绍，如果想要了解更多相关信息，请多多关注eeworld，eeworld电子工程将给大家提供更全、更详细、更新的资讯信息。

深度学习人工智能

上一篇:皮肤不白，会遭到人脸识别技术的 “歧视”？

下一篇:2018年全球光纤元件市场将达171.5亿美元

新浪数码讯 1月13日上午消息，苹果智能音箱HomePod于2月9日在美英澳三地发售，日前音乐发烧友WinterCharm通过测试认为HomePod是100%发烧音箱。HomePod智能音箱　　自HomePod发售以来，一直受到媒体的关注。外媒认为根据苹果以往推出的Beats和AirPod无线耳机来看，他们对AirPod的音质没抱有太大希望。可是和市场上的其他智能音箱相比，外媒们普遍认...

2019年02月22日 | 豪威科技推出新一代1/4”800万像素图像传感器

OV08B传感器为前置和后置摄像头提供全尺寸拍照，超广角和光学变焦的极佳解决方案数字图像解决方案开发商豪威科技公司（OmniVision Technologies, Inc.）面向广泛的智能手机相机应用市场，推出最新一代1.12微米，800万像素图像传感器家族成员——OV08B。这款新型图像传感器支持主流智能手机自拍摄影和多摄像头应用。 “智能手机主流市场对1/4’‘ 800万...

2020年02月22日 | 动力电池路线颠覆性逆转，这次为何又是比亚迪？

谈新能源汽车的发展，绕不过动力电池这一环，它被称为新能源汽车的“心脏”和“灵魂”，动力电池的技术水平一直是掣肘新能源汽车发展的关键。过去几年来，三元锂电池以其高能量密度所带来的高续航里程，而成为电动汽车市场上的主流，受到政策和消费者的热烈追捧。以2019年为例，三元电池装机占动力电池总装机量的65%，在乘用车装机中占比则更高。与之相对...

2021年02月22日 | 发光二极管测量好坏

发光二极管发光二极管简称为LED。由含镓（Ga）、砷（As）、磷（P）、氮（N）等的化合物制成。当电子与空穴复合时能辐射出可见光，因而可以用来制成发光二极管。在电路及仪器中作为指示灯，或者组成文字或数字显示。砷化镓二极管发红光，磷化镓二极管发绿光，碳化硅二极管发黄光，氮化镓二极管发蓝光。因化学性质又分有机发光二极管OLED和无机发光二极管LED...

史海拾趣

Continental公司的发展小趣事

随着汽车工业的发展，大陆集团开始将业务扩展到汽车轮胎领域。1901年，马牌轮胎首次与德国戴姆勒·奔驰汽车公司合作参加汽车竞赛，这标志着大陆集团正式进入汽车轮胎市场。仅仅三年后，大陆集团就生产出了全世界第一条带花纹的汽车轮胎，这一创新大大提高了轮胎的抓地力和安全性。1908年，大陆集团又生产出了全世界第一个可拆装的车轮，使车轮和车轴分开，由此大大节省了换轮胎的时间。这些技术创新使得大陆集团在汽车轮胎市场上占据了重要地位。

GE Industrial Solutions公司的发展小趣事

使用噪声测试仪测量输出信号的噪声水平，确保满足应用需求。

Advanced Ceramic X Corporation公司的发展小趣事

使用高压测试仪测量输入输出之间的隔离电压，确保满足安全要求。

GSG公司的发展小趣事

使用万用表等工具检查电路中的电阻、电容、电感等元件是否损坏，以及电路连接是否良好。

Flamar公司的发展小趣事

面对电子行业供应链日益复杂的挑战，Flamar公司高度重视供应链管理和优化工作。公司通过引入先进的供应链管理系统，实现了对原材料采购、生产制造、物流配送等各个环节的精准控制。同时，公司还积极与上下游企业建立长期稳定的合作关系，共同构建高效的供应链生态体系。这些措施有效降低了公司的运营成本，提高了生产效率和产品质量，进一步增强了公司的市场竞争力。

创世(CS)公司的发展小趣事

作为一家有社会责任感的企业，创世公司始终关注环境保护和可持续发展。公司积极推广绿色生产技术和资源循环利用方案，减少生产过程中的能源消耗和废弃物排放。同时，创世公司还积极参与社会公益活动，为社会和环境贡献自己的力量。这种对社会责任的关注和担当使得创世公司在电子行业中树立了良好的形象。