硬件之后,英特尔还有哪些考量?| O’Reilly人工智能大会
发布时间:2019-06-25 01:24来源: 网络整理6月18至21日 ,以“打破理论与现实的壁垒”为主题的O’Reilly人工智能大会在京举行。此次会议汇聚了谷歌、Facebook、eBay、Bonsai、Uber、微软、阿里巴巴、亚马逊、SAS、Unity、SalesForce、IBM、腾讯、MIT、伯克利、斯坦福以及牛津大学的相关人士。
会议上,英特尔公司架构图形与软件集团副总裁和数据分析技术总监马子雅女士围绕“基于人工智能的大数据分析,驱动大规模高效洞察”这一主题展开演讲。
她表示,“世界上只有2%的数据被真正地分析过,其他数据都被关在实验室里。”紧接着她表示道,“英特尔的硬件图景不只集中在计算,我们希望英特尔的硬件能够比较全面。例如针对存储方面,我们开发了'傲腾'技术,另外英特尔也已经做了很久的网络架构技术。”
英特尔® 傲腾™ 数据中心级持久内存是一项创新的内存技术,可提供经济实惠的大容量和数据持久性支持这个独一无二的组合。该技术可以帮助企业更快地从他们的数据密集型应用中获得深入洞察,并借助更高的虚拟机和容器密度提供不断改进的服务可扩展性的优势。与此同时,在Apache Spark、BigDL以及TensorFLow、Keras的基础上又构建了一个大数据分析+AI的平台Analytics Zoo,方便用户开发基于大数据、端到端的深度学习应用。
某种意义上来说,Analytics Zoo是Spark和BigDL的扩充,是一款为了满足方便用户开发而基于大数据端到端学习的应用。
据介绍,英特尔很注重软硬件方面的协同,具体表现为在内置模型和一些简单的操作的同时,它还提供了大量的、高级的、流水线式支持,其中包括能使用Spark DataFrames、ML Pipelines的深度学习流水线和能通过迁移学习的API构建API模型的定义。而在这个基础上将更为方便地为用户提供Model Zoo模型甚至端到端的参考应用。值得一提的是,BigDL和Analytics Zoo的技术能在包括AWS、阿里云、百度云等几乎所有的公有云平台上使用。
据内部人士透露,选择使用Apache Spark/Hadoop框架搭建应用,将满足此场景所需的多样化数据的增减、清洗、管理、分析和可扩展性,而且搭建好的应用可以部署运行在云端,降低服务器维护的成本。而Analytics Zoo作为构建深度学习应用的平台,是目前在Hadoop/Spark框架上最方便的用于开发深度学习应用的平台之一。用Analytics Zoo读取和处理存放在Hadoop/Spark集群上的数据十分便捷,且AnalyticsZoo在标准的Hadoop/Spark集群上做训练和预测无需需要对集群有特殊的改动或配置。值得一提的是,Analytics Zoo还有很多预定义的模型可以开箱即用。
当前,英特尔借助BigDL和Analytics Zoo几乎与各行各业的厂商纷纷展开了合作,实施部署了不同种类人工智能的解决方案。其中就包括智慧医疗、智慧银行、智慧交通、智慧生产、智慧电信等。
此外,英特尔还与大型云服务提供商、原型设备制造商以及软件开发商进行合作,包括阿里巴巴、百度、腾讯、京东等,致力于将技术整合至产品中。同时,英特尔还推动与产、学、研的深度合作,打造AI生态。
以英特尔与京东的合作为例,京东有大概几亿张的图片存储在分布式存储系统当中,英特尔通过搭建SSD模型来试图识别图片里面有什么物品,探后再用DeepBit的模型,将物品的特征提取出来。当把整个处理的应用迁移到Spark和BigDL平台之后,可以看到极大提升了运维的效率,例如使用BigDL/Spark在Intel Xeon(英特尔至强可扩展处理器)集群有效扩展,取得相对于GPU集群3.8倍性能提升。
以下为英特尔马子雅发言,略经钛媒体编辑:
大家早上好!我们处于一个数据变革的时代,人类历史上 90%的数据 都是在过去几年产生的,50%的数据都是短短两年所生成的。利用数据分析和人工智能,我们可以对海量数据进行分析、归纳、总结,提取精准并且复杂的数据关联 和商业洞察,提升我们的生产效率,扩大我们的竞争优势,所以在过去的一段时间 数据分析和人工智能得到了空前的发展。
但事实上到目前为止只有 2%的数据被真正的分析过,来帮助我们的生产生活。 这其中最主要的原因就是这些新兴技术,比如人工智能从实验室到最终落地,有很多问题需要解决。
以智慧生产为例,生产制造商可以在生产线上利用深度学习,尤其是图像识别, 将产品的质量检测自动化。比如自动检测产品表面有没有划伤、有没有零部件的缺 失、有没有标签的错位。研究表明,相比人工检测,智慧检测可以大幅提高我们的效率,并且大大降低生产成本。但是智慧检测只有深度学习是远远不够的,它需要一条完整的数据分析流水线才能够落地。