站在未来看现在:智能时代数据存储产业谈
发布时间:2020-04-10 16:15来源: 网络整理面向智能时代,5G、AI、大数据等新技术带来的数据爆炸式增长,智能时代数据存储如何突破现有思维,充分利用前沿硬件、低延时网络技术,结合创新的算法和融合架构来满足智能时代业务新需求。
华为智能数据与存储领域副总裁张福鹏
本期#Σco时间#活动上,华为智能数据与存储领域副总裁张福鹏从“智能时代,数据存储面临哪些挑战”“数据存储需要满足哪些特征”“揭开智能时代数据存储架构的神秘面纱”三个方面带大家走进了精彩的存储未来世界。
智能时代,数据存储正面临四大挑战
▶ 挑战1:生产交易类数据高并发、低延时、高可靠
据张福鹏介绍,随着5G带来的大带宽、低时延,对数据处理速度、频度、可靠性提出了新的要求;以金融交易为例,我们每天用到的微信、支付宝等小额支付,使得交易量增长10倍以上,而且在线购物也不再受门店营业时间的限制,必须做到7x24小时不间断服务。这些都对数据交易的时延、可靠性等提出了前所未有的挑战。
▶ 挑战2:海量非结构化数据存储,长期保存与价值挖掘
类似今日头条每天50PB的数据,绝大多数都是非结构化数据。窄带和宽带物联网、4K/8K视频、自动驾驶等多数据源、多模数据的大量采集、长期保存、冷数据变温数据等带来了新的海量数据存储需求。
▶ 挑战3:数据无缝流动,融合高效的处理与分析
数据要长期保存,更要无缝流动才能产生更多的价值。从实际业务来看,在距离数据产生最近的边缘场景,比如摄像头,IoT,传感器等,数据如何存储和高速处理,如何提供边、中心、云的统一数据保护和管理,既可以让数据高速流动,又能做到每比特成本最优,价值最大,也是我们企业全场景业务面临的新挑战。
▶ 挑战4:数据全生命周期管理,场景化、智能化、降本增效
数据全生命周期管理,从数据产生的源头,实现边云协同叠加AI的能力。业务希望能充分利用云上数据量大的优势形成基线,同时在本地增量训练。结合具体业务提供个性化调优,实现对数据生产、分析、备份、归档的全生命周期的智能化管理。这也是颠覆传统IT架构,从数据视角打破边界,构建数据基础设施的一个重要理念。
预见|智能时代存储
智能时代,存储应该具有哪些特征才能更好的应对新技术、新业务带来的新挑战呢?张福鹏表示,智能时代数据存储要满足三个主要特征,即智能、融合、高效。
▶ 智能
智能时代的数据存储要充分利用AI的能力实现Storage for AI和AI in Storage,进而承载数据全生命周期智能管理。
华为OceanStor在边缘存储端加入了AI芯片,实现个性化AI,存储自身基于AI芯片对存储数据进行深度学习,实现存储设备的独特性能优化。
同时将边缘存储的数据采集上传云端,数据在云端经过训练和建模后,形成通用模型发布给边缘存储,存储AI芯片再基于通用模型进行强化学习,与自身数据特征结合,培训建模形成个性化模型,再来指导存储实现场景预测、故障推理。整体形成一个端云协同AI芯片加速的自驱动。
为了应对万物互联智能时代数据存储的易管理、易运维需求,华为还提供了基于AI使能的自动化数据管理系统,帮助用户实现数据自动化与智能管理与运维。而在全生命周期数据管理方面,华为则将存储系统的智能管理分为三层,即设备层、数据中心层、和云上云下,通过三层联动,实现高效的运维运营。
▶ 数据融合
除了智能化管理,面向多模数据、多级介质、边、中心、云物理位置、多种协议带来的数据孤岛,融合是华为持续追求的。
智能时代存储如何打通数据孤岛,实现从端到云的融合互通能力,华为认为有几个地方需要重点考虑:异构融合、多服务融合、分级归档融合、生产分析融合、端-云融合。
当然,面向实际的业务场景,还需要考虑包括数据库与存储融合、万核级调度等,这些都是华为持续要构建的存储能力,让数据存得下、流得动、用得好。
▶ 极致可靠
智能时代存储三大特征,除了智能、融合这两个非常重要的特征之外,面向实际业务需求,还需要高效的数据存储与管理。这里面可分解为极致可靠、极致容量和极致性能三个方面来分析。
在高可靠性领域,不仅仅是在架构层面,在组件(硬盘)、系统(RAID)、解决方案(双活)层面同时要有大量的创新。