体系结构如何加速人工智能?图灵奖得主David P
发布时间:2020-06-29 01:35来源: 网络整理
2020 WAIC·开发者日将于7月10日-11日线上举办。在主论坛上,图灵奖得主David Patterson将带来宗师课《体系结构创新加速人工智能》。
人工智能已经成为新一轮产业变革的核心驱动力,正在对世界经济、社会进步和人类生活产生极其深刻的影响。
2020 世界人工智能大会云端峰会是由上海市政府打造的国际顶级人工智能会议,大会将于 7 月 9-11 日举行。
世界人工智能大会开发者日(以下简称为 WAIC 开发者日)云端峰会作为大会主题论坛及特色活动,是 WAIC 期间唯一面向 AI 开发者的专业活动,将成为人工智能领域年度最高规格、最专业、最具影响力的开发者盛会之一。本届开发者日包含 1 场主论坛、多场分论坛、高峰对话、黑客松、Demoday、公开课等活动,为业界呈现最丰盛的人工智能技术分享盛宴。在活动期间,大会也将进行上海白玉兰开源开放研究院揭牌、发布《人工智能开源开放报告》、WAIC 云帆奖。
在今年的开发日主论坛上,机器之心联合上海交通大学人工智能研究院特邀请到了多位重磅嘉宾,其中就包括 2017 年图灵奖得主、计算机体系结构宗师 David Patterson。
届时,他将带来主题演讲《体系结构创新加速人工智能》(Architecture Innovation Accelerates Artificial Intelligence)。
2017 图灵奖得主、体系结构巨擘 David Patterson
David A. Patterson 自 1977 年进入加州大学伯克利分校执教以来,一直讲授计算机体系结构课程,拥有该校计算机科学 Pardee 讲座教授职位。他因为教学成果显著而荣获了加州大学的杰出教学奖、ACM 的 Karlstrom 奖、IEEE 的 Mulligan 教育奖章和本科生教学奖。
因在 RISC 方面的贡献而获得了 IEEE 技术成就奖和 ACM Eckert-Mauchly 奖,他还因为在 RAID 方面的贡献而分享了 IEEE Johnson 信息存储奖,并与 John Hennessy 共同获得了 IEEE 约翰 • 冯 • 诺依曼奖章、C & C 奖金和 2017 图灵奖。此外,Patterson 还是美国艺术与科学院院士、美国计算机历史博物馆院士、ACM 和 IEEE 会士。他还被选入美国国家工程院、美国国家科学院和硅谷工程名人堂。Patterson 身为美国总统信息技术顾问委员会委员,同时也是伯克利电子工程与计算机科学系计算机科学分部主任、计算机研究协会主席和 ACM 主席。这一履历使他荣获了 ACM 和 CRA 颁发的杰出服务奖。
在加州大学伯克利分校,Patterson 领导了 RISCI 的设计与实现工作,这可能是第一台 VLSI 精简指令集计算机,为商业 SPARC 体系结构奠定了基础。他曾是廉价磁盘冗余阵列(Redundant Arrays of Inexpensive Disks,RAID)项目的领导者之一,正是由于这一项目,才有了后来许多公司出品的可靠存储系统。他还参与了工作站网络(Network of Workstations,NOW)项目,因为这一项目而有了因特网公司使用的集群技术和后来的云计算。这些项目获得了 ACM 颁发的三个论文奖。
此外,Patterson 还与另一位图灵奖得主 John L. Hennessy 合著计算机系统结构学科经典著作《计算机体系结构:量化研究方法》,这本书堪称计算机体系结构的「圣经」,数代工程师和科学家采用和发扬他们的理念。
体系结构与 AI
计算机体系结构是程序员所看到的计算机的属性,即计算机的逻辑结构和功能特征,包括其各个硬部件和软部件之间的相互关系。
对计算机系统设计者而言,计算机体系结构是指研究计算机的基本设计思想和由此产生的逻辑结构;对程序设计者而言,则是指对系统的功能描述(如指令集、编制方式等)。
David A. Patterson 和 John L. Hennessy 在《计算机体系结构:量化研究方法》(第 5 版)前言中写道:
「这个学科不是令人昏昏欲睡、百无一用的纸版模型。绝对不是!这是一个受到人们热切关注的学科,需要在市场竞争力与成本、性能、能耗之间作好权衡,从事这个学科既可能导致可怕的失败,也可能带来显赫的成功。」
众所周知,近期人工智能的飞速发展离不开海量数据和算力提升,而算力是承载和推动人工 智能走向实际应用的基础平台和决定性力量。
计算机体系结构的进步正是满足算力需求的必经之路。同时,人工智能的发展也重塑了体系结构的设计过程。
人工智能的特点对算力提出了不同于以往的新要求,传统的面向通用计算负载的 CPU 架构无法完全满足海量数据的并 行计算需求,以异构计算、加速计算、可编程计算等为代表的新的计算技术和架构更适合人工智能的并行计算需求,得到了快速的发展。
此外,在摩尔定律逐渐失效和深度学习算力需求如无底洞般膨胀的今天,深度学习研究者们也在思考:能否改进算法以使其更适应计算硬件?能否帮助优化系统配置?
在《黄金时代》论文里,Jeff Dean 和 David Patterson 以谷歌开发的两代机器学习 ASIC(用于加速推理的 TPUv1 和用于加速训练的 TPUv2)为例,介绍了设计专用硬件的思路。
进行硬件设计要着眼于至少 5 年后的模型:现在开始一款 ASIC 的设计,它大约可以在 2 年后投入使用,而一款专用硬件至少需要能够保持 3 年的竞争力才有价值。Jeff Dean 和 David Patterson 介绍了,在这样的前提下,设计深度学习专用硬件需要考虑的问题。
从他们关于硬件结构和人工智能发展的探讨中,我们可以得出以下见解:「当下,想要朝通用人工智能的道路上前行,研究者、工程师、体系结构设计者,这些身份一个都不能少」。
2019 年 David Patterson 与 John Hennessy 合作发表了文章《计算机架构的新黄金时代》,完整介绍了计算机芯片的发展历程,以及所有架构的未来趋势。
这篇文章的最后写道「架构设计者必须意识到软件创新也能激励架构发展,而提高硬件 / 软件界面的抽象水平会带来创新的机会,市场最终会解决计算机架构的争论」。
他们预言:「未来十年,将会有一场新计算机架构的寒武纪爆炸,这对业界和学界的架构师们来说将是激动人心的时刻。」
David Patterson 对于「体系结构和人工智能的关系」有何深刻见解?敬请期待他在 WAIC 开发者日上的主题演讲《体系结构创新加速人工智能》。