5月25日，北京智源人工智能研究院联合北京大学、清华大学等单位发布《人工智能北京共识》，提出了各个参与方应遵循的有益于人类命运共同体的15条原则。

其中研发方面，要服从人类的整体利益，设计上要合乎伦理；使用方面要避免误用和滥用，确保利益相关者对其权益所受影响有充分的知情与同意；治理方面，对人工智能部分替代人类工作保持包容和谨慎态度。共识的发布，为规范和引领人工智能健康发展提供了“北京方案”。

为降低人工智能发展过程中可能存在的技术风险和伦理隐患，北京智源人工智能研究院成立人工智能伦理与安全研究中心，中国科学院自动化研究所研究员曾毅任研究中心主任。研究中心将围绕人工智能伦理与安全的理论探索、算法模型、系统平台、行业应用等开展一系列研究。对此，新京报记者对曾毅进行了专访。

在《人工智能北京共识》发布仪式上，曾毅介绍了人工智能伦理与安全研究中心的主要研究内容。新京报记者 吴宁 摄

人工智能系统还不能准确了解人类价值观

新京报：研究人工智能伦理与安全是否具有紧迫性？

曾毅：作为颠覆性科技的人工智能，其机遇与挑战并存。可以预见，随着新一代人工智能的发展，预测、评估伴随技术应用所带来的社会影响并尽可能减小、避免相关风险尤为重要。

近年来，随着人工智能研究与产业发展，一些相关伦理与社会问题逐渐凸显，例如人工智能带来的安全风险、隐私、算法歧视、行业冲击、失业、收入分配差异扩大、责任分担、监管难题以及对人类道德伦理价值的冲击等。

因此，我国急需开展人工智能伦理与安全的研究，将人工智能风险、安全、伦理的思考模型化、算法化、系统化，融合技术与社会等多方的努力，确保人工智能向对人类和自然有益的方向发展。

新京报：其中，伦理研究出于何种考虑？

曾毅：人工智能伦理准则是各个国家、组织进行对话的重要议题。目前，人工智能系统不能真正理解人类的价值观。

举例说，你需要很快从A点跑到B点，如果中途有个孩子过来，你一定会绕开他。但是机器为了更快达到目标，可能会做出相反的选择，对环境中的人类等造成不可逆的负面影响。

所以，如何使机器自主学习人类价值观、避免风险，是人工智能伦理研究中的重要主题，这叫做价值观校准，是人工智能研究中的圣杯，也是人工智能最大的挑战之一，现在还没有一台机器能真正基于理解实现自主学习人类的伦理道德。

我们的研究中心将开展符合人类伦理道德的智能自主学习模型研究，实现人工智能行为与人类价值观的校准，并在模拟环境与真实场景中进行验证。例如通过机器的自我建模、自我经验的获取与思维揣测，实现避免对环境中其他智能体产生不可逆的伤害。

改变一个像素，机器可能将飞机认成狗

新京报：如何看待人工智能发展中的安全风险？

曾毅：人工智能的发展过程中已出现一些潜在的风险，例如一张飞机的图片，如果改变其中关键的一个像素，人还是觉得图片中的是飞机。但目前很多深度学习模型可能会颠覆认知，认为那是一只狗。这说明现在机器学习算法的自适应性还不能应对实时变化的环境、噪声以及恶意攻击。

机器学习的前提假设最好是输入的数据能够很好地描述实际世界，但实际情况是训练数据往往比较理想化或者片面，而真实世界是非常复杂、多变的。因此，我们未来研发人工智能模型要向低风险、高安全的方向发展。

研究中心的研究内容之一就是低风险机器学习模型与平台的构建，建立机器学习模型安全性的评估体系，并结合具体领域进行验证。

新京报：在一些科幻作品中说，未来人工智能可能取代人类或者消灭人类。人们的担心是否有必要？如何看待此次《北京共识》提出，对人工智能部分替代人类工作保持包容和谨慎态度？

曾毅：人工智能的研发如果不考虑潜在的风险，不考虑服务于人类、构建负责任的、对社会有益的人工智能，就有可能带来不可估量的负面影响。因此在《人工智能北京共识》中，就倡导对通用智能、超级智能潜在的风险进行持续研究与分析。