中美欧都在重视，成为国家级风口的“数据基础设施”究竟是什么？

中美欧都在重视，成为国家级风口的“数据基础设施”究竟是什么？

迎着“新基建”的东风，在5G、AI、工业互联网等众多使人眼花缭乱的名词和概念中，很多人发现“数据基础设施”这一概念的曝光率迅速由低到高，夺人目光。

特别是在今年，不仅我国政府多次对数据基础设施建设表示高度重视。欧盟、美国等世界其他主要经济体也纷纷在各自的规划、政策中频频提到这个概念。“数据基础设施”成为世界范围内，国家级别的“风口”。

大数据时代之中，数据是一种宝贵的资源，甚至被人称为“第五大生产要素”。国家、社会、企业甚至家庭和个人都身处数字化转型的大势之中。数据基础设施作为传统IT基础设施转型演进的必然结果。

但热度陡然升高，又多多少少让人们摸不着头脑的“数据基础设施”并不是一个多么深奥、抽象的概念。

今天，就让小偶来和大家一道，探索数据基础设施因何受到全世界的瞩目。又有着怎样的发展历程吧！

世界瞩目的数字化转型核心

数据基础设施是传统IT基础设施的演进，它是以数据为中心，深度整合计算、存储、网络和软件资源，以充分挖掘数据价值为首要目标的数据中心IT基础设施。

在数字化转型进程中，伴随着AI、5G、IoT等技术的广泛应用与数据量的持续增长，数据基础设施作为转型的底层架构基础，正在迎来爆发。

据《财富商业洞察》最近发布的报告预测：在席卷全球的新冠肺炎疫情影响的推动之下，企业对数据基础设施的采用将加速上升，到2027年，全球数据基础设施市场规模预计将达到1423.1亿美元，预测期间的复合年增长率为5.5%。

重视数据基础设施投入的主体，也从互联网企业、超大型企业，延伸到中小型企业和传统。近年来，后者尤其重视将旧的IT基础架构升级换代为新的数据平台系统，以此来促进企业的创新进度。

不仅在企业角度，在国家层面上，数据基础设施的重要性也与日俱增。值得关注的是，世界各主要经济体均将数据基础设施建设定位为：推动区域经济增长的核心环节。

3月，中共中央政治局常委会议中就将“加快数据基础设施建设速度”的重要性提升至与“加大公共卫生服务、应急保障物资投入”、“加快5G网络建设”并列。

在欧盟委员会近日提出的“2030数字罗盘”（Digital Compass）计划中，“构建安全、高性能和可持续的数字基础设施”位列四大计划目标之二，仅次于“培养大量高度专业的数字人才”。

即便是沉迷于身份政治和所谓“国际秩序”的美国，在拜登政府公布的新一轮三万亿美元经济刺激计划中，数据基础设施方面的投入也占据了相当大的比重。

从数据库到大数据平台

数据基础设施迎来爆发，成为世界范围内，国家级别的“风口”，但它并不是一个很新的概念，甚至还有些“老”，至今已然经历了4个发展阶段。

数据库阶段

作为数字化转型的核心支撑，数据基础设施的历史甚至要追溯到上世纪7、80年代。即最早的商用数据库面世之时。

当时的企业缺乏成熟、落地且面向一线业务人员的数字化场景，核心痛点是为管理层解决宏观层面的经营决策问题。这也就使得该阶段的数据查询维度、数字化展现形式都比较单一。

在此背景下，Oracle、DB2等厂商的早期商用数据库，主要应用于OLTP（联机事务处理）场景，直接承载来自业务系统、交易系统的数据存储与计算，基于固定的若干张数据表，生成面向管理层的固定报表等。因此这些产品又被称之为“事务型数据库”或“交易型数据库”，人们往往将它们等同于狭义的数据库。这一阶段也被称为数据库阶段。

数据仓库阶段

商用民用互联网多年发展的积淀之下，企业数据分析的需求在20世纪90年代开始逐渐由管理层下沉至业务部门，业务人员开始在越来越多的时候需要借助数据分析来解决问题这一变化，倒逼企业觉醒了一定的数字化意识。

1993年，关系数据库之父E．F．Codd提出联机分析处理（OLAP）概念后，数据基础设施正式进入了“数据仓库”的新阶段。企业开始将承载OLAP工作负载的数据库与业务系统的交易数据库进行分离，从而避免OLAP对核心交易造成干扰。

关系数据库之父E．F．Codd

因此，专用于OLAP的分析型数据库，即数据仓库诞生，并逐步从交易型数据库中分离出来。同时，为了满足业务场景下沉增加所带来的数据存储需求上涨，基于MPP无共享架构的数据库也开始逐步进入了企业的视线之中。

大数据平台阶段

随着移动通信网络的全面覆盖，21世纪初移动互联网开始萌芽并迅速成长。数据基础设施在2005年前后，借由移动互联网的普及和互联网的进一步发展，在业务系统的终端用户量、企业内沉淀的数据量均呈现爆发式增长的趋势之中，迎来了“大数据平台”阶段。

互联网和移动互联网边界的拓展，让金融、电商等大量领域的企业能够更多触及到用户的线上数据。这些数据不仅数据类型十分多样，包括结构化数据、半结构化数据、非结构化数据、二进制数据等，同时来源复杂种类繁多且数量庞大，企业对数据存储量的需求从过去的GB、TB，快速提升至PB甚至EB级别。

更加多样、复杂且大量的数据环境，让企业的数字化应用场景数量再次猛增。能够支持业务人员独立进行数据分析的自助式分析能力的敏捷BI工具，成为了企业数字化展现形式的新方向。

在这一阶段，受限于节点扩展规模，而且不支持非结构化、半结构化数据，MPP数据仓库逐渐开始难以满足企业需求。以Hadoop为代表的大数据技术逐步成为数据基础设施的核心技术之一。

基于Hadoop生态的大数据平台，在兼容前一阶段建设的MPP数据仓库的同时，提供基于SQL-on-Hadoop的数据仓库，以及包括NoSQL数据库、流处理、批处理、分布式存储在内的大数据套件。实现了存储节点与计算节点的相互独立，记忆计算、存储独立扩展。

以Hadoop为代表的大数据技术为企业统一采集、存储与处理各类等多种类型数据提供了技术可能性。

推动企业数字化的未来

“云计算”这一概念，在时任Google首席执行官埃里克·施密特提出后，仅用了不到十年，就成为了计算机领域最受人关注的话题之一，上云也成为了企业的普遍共识。

2015年后，社会数据总量的规模，在多年来的持续加速暴增下突破了某个“临界点”，企业的数字化应用场景变得更加广泛且普遍。大量的跨部门、跨业务线，甚至跨分支机构、跨组织、跨地域的数据共享与联动分析，使企业数据分析普遍化、敏捷化、个性化、场景化的趋势愈发明显。

企业数字化转型的路径也由过去的单点突破转变为全集团、跨组织、跨地域的数据共享与资产化管理，以及全场景数据赋能。

在这种转变中，一些互联网、科技巨头提出了“数据中台”概念，从组织架构层面变革入手，推动业务、数据共享，加速业务的敏捷创新。但“数据中台”并未改变数据基础设施的底层技术架构，并不能从底层突破实际解决问题，以充分满足企业在大数据时代的数据应用需求。

为了突破旧有数据基础设施、传统技术路线的弊端，“数据云平台”应运而生。数据基础设施也进入了一个崭新的阶段。

基于云原生、计算存储分离、虚拟计算集群等新型技术架构，数据云平台实现了计算、存储节点独立扩展，借此突破MPP、SQL-on-Hadoop大数据平台在扩展性、灵活性方面的限制。

并且，数据云平台还克服了SQL-on-Hadoop数据库在SQL标准、ACID特性等方面的不足，可以支持数字化应用从传统共享存储数据仓库、MPP数仓向数据云平台的平滑迁移。

此外，通过底层创新，数据云平台摆脱了以Hadoop为核心的开源技术体系的影响，克服了其在性能优化和并发等方面的缺陷，对并行执行器进行了深度优化，弹性可扩展，从而大幅度提升面向多张表、批量数据、复杂表关联的复杂查询性能。

最后，数据云平台在大数据平台的基础上吸纳了“数据中台”的理念中，从而形成了“数据平台-数据资产-数据服务”三层架构。更好的满足以集团型、多分支企业为代表的大中型企业在数字化转型进程中的需求。

数据云平台充分整合了云原生特性，以更加统一强大的数据能力、对AI应用的支持能力，为企业提供了“更统一、更强大”的数字化转型动力。

通过其高弹性、强扩展性、强共享性、强兼容性、强复杂查询能力、自动化机器学习支持等技术能力的变革，帮助企业更加有效地应对大规模、高时效、智能化等一系列的数字化趋势，推动企业未来数字化深度、广度的全面升级。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。