人工智能发展的势头越来越猛，由此也引发了各界人士对安全问题的深思，人文学科领域的学者从道德伦理与哲学规范的角度对安全问题提出了担忧，人工智能技术领域的学者也从系统安全的角度对安全问题进行了剖析。最近，中国工程院院士、中国电子信息产业集团首席科学家方滨兴发表学术论文《人工智能安全之我见》，详细阐述了人工智能在哪些领域会产生危险，如何通过技术革新平衡人工智能与安全之间的发展问题。

人工智能自身存在着脆弱性，例如对抗样本就是人工智能的内生安全问题。对抗样本是机器学习模型的一个有趣现象，反映出了人工智能算法的弱点。攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变，但是却可以让机器学习模型接受并做出错误的分类决定。一个典型的场景就是图像分类模型的对抗样本，通过在图片上叠加精心构造的变化量，在肉眼难以察觉的情况下，让分类模型产生误判。对抗样本除在图像识别领域存在，也在其他领域存在，如语音、文本等。

人工智能技术存在着巨大的安全性挑战。目前人工智能系统还无法超出固有的场景或对特定语境的理解，人工智能技术在下棋或游戏等有固定规则的范围内一般不会暴露其脆弱性，当环境数据与智能系统训练的环境大相径庭，或者实际的应用场景发生变化，或者这种变化超出机器可理解的范围时，人工智能系统可能就立刻失去判断能力。美国智库“新美国安全中心”最近发布的《人工智能：每个决策者需要知道什么》报告显示，人工智能的一些弱点可能对国家安全等领域造成巨大影响。

人工智能的失误可能会给人类带来灾难，从而衍生安全问题。2016年5月7日，在佛罗里达州公路上一辆处于“自动驾驶”模式的特斯拉Model S以74英里的时速，撞上了拐弯中的白色拖挂式大货车。Model S从货车车底穿过，车顶被完全掀飞，40岁的驾驶员Josh‐ua Brown不幸死亡。出事路段限制时速为65英里。由于“自动驾驶”模式车前的高清摄像头为长焦镜头，当白色拖挂卡车进入视觉区域内时，摄像头只能看到悬浮在地面上的卡车中部，而无法看见整个车辆；此外，当时阳光强烈(蓝天白云)，使得自动驾驶系统无法识别出障碍物是一辆卡车，而更像是飘在天上的云，导致自动刹车未生效。这次事故引发了外界对自动驾驶汽车安全性的争议。这种自动驾驶的缺陷导致人类伤亡的事情，是典型的人工智能衍生安全问题的案例。

当前，人们已经开始关注人工智能自身的安全问题，霍金曾经在2015年8月与美国Reddit网的问答互动中，提出了人工智能“威胁论”的观点，后又曾多次在世界知名期刊撰文强调类似看法。比尔·盖茨称，人类在人工智能领域已经取得了很大进展，这些进展能让机器人在接下来的10年内学会驾驶和做家务，在一些特定的领域甚至能比人类优秀。但是之前他曾经提出警告，“人工智能如果进展太快，可能会对未来的人类造成一定威胁”。特斯拉创始人马斯克在Code大会上也预测智能机器人未来，他认为未来人类生活将离不开虚拟现实技术，而这一技术的高度发展将使人类很难分辨出真实与游戏的区别；加之人工智能的飞速发展，人类智商将会止步不前；最为严重的后果是机器人反超人类成为实际运营世界的主体，人类在机器人心中可能如宠物一般的存在。

针对这些安全问题，我们提出一种防止人工智能行为体失控的方法--AI保险箍。AI保险箍方法的核心要点包括：人工智能行为体的驱动装置需采取主动探测或被动监听等方法，以检测到一个授权的、认证的、可信的控制系统(AI保险箍)的存在，并接受其完全控制；当人工智能行为体无法检测到一个授权的、认证的、可信的控制系统存在时，应停止一切工作；速度与距离监控，当人工智能行为体中某个危险部件与人之间的距离小于安全距离时，触发保护停止、触发与人工智能行为体相连的安全级功能；在人工智能行为体发生失控时，系统能根据远程控制命令，实现人工智能行为体的远程控制，使其无法危害人类或将危害控制到最低；系统会对人工智能行为体进行风险识别，当识别出风险时，发出警报示警，进一步防止人工智能行为体因为失控而造成的损害。

人工智能作为最具颠覆性和战略性的核心关键技术，持续引起全球产业界、学术界和各国政府的高度关注。当前，人工智能技术在安全领域的应用需求日益迫切，同时，人工智能自身的安全问题也不容小觑，安全与人工智能并举，双方的融合发展与创新是我国强国战略中不可忽视的重要助推因素。（金鑫）

原标题：《【AI·观点】 中国工程院院士、中国电子信息产业集团首席科学家方滨兴：人工智能伴生安全问题》