学习了一下大数据治理,数据中台的相关概念。牛人总是一句话就能说透彻。
参考:https://my.oschina.net/leejun2005/blog/73205
https://my.oschina.net/liuyuantao/blog/3135725
https://my.oschina.net/u/1464083/blog/3117638
数据中台可以理解为企业的最核心的数据大脑,企业全域的数据处理中心,是一种企业信息化的升级过程,从 过去的烟囱式(企业信息化 1.0)升级到现在的中台式(企业信息化 2.0),1.0 时代,系统与数据都是割裂的,没法发挥最大价值,在 2.0 时代,底层系统是共享的,微服务化的,中心化的,所有的应用,数据都采用服务化的方式来共享资源,最大化的提升灵活度与便捷性,随着敏捷开发的普及,中台思想也带来快速的创新。
数据中台是一个集数据采集、融合、治理、组织管理、智能分析为一体,将数据以服务方式提供给前台应用,以提升业务运行效率、持续促进业务创新为目标的整体平台。帮企业把数据用起来,提升决策水平是对数据中台的一个最基础的要求。
打个比方,当我一家人要吃饭,我自己买菜,在自己的厨房用普通的厨具自己做就好了,如果是富士康,几万几十万人吃饭,就需要建食材的加工配送中心 (类比数据中台)。本质上是需求规模量级的变化,导致解决方案的质变。
带火“中台”概念的阿里,在实施数据中台的时候,采用的是“数据中台 + 业务中台“的双中台形式来提供公共服务。在数据中台里将数据业务化,来供业务中台调用,以快速反馈结果。数据中台是让数据用起来的持续的一套机制,通过建立一套能共享服务的体系,基于数据运营机制形成的闭环路径,经过业务数据化、数据资产化、资产服务化、服务业务化,在有权限管理的情况下开放出去,把可以复用的能力放在一起,用统一标准和口径,向前台业务部门和决策部门以 API 的方式提供数据和计算服务。
数据中台强调的是一种复用能力。很多企业的愿景都是“将数据用起来”,这也是数据平台这些企业基础设施的定位目标,如果再加上一些复用方法论和完善的运营机制,那么可我们就可以认为企业是在建设“数据中台”。使用数据中台的最明显的效果就是提升开发效率,使用封装好的工具平台,降低开发难度,数据分析的速度会大大提高。
数据中台的构建并不复杂,你可以先构建业务中台,再构建数据中台,也可以直接构建数据中台(类似构建数据仓库)。主要的目的是把企业全域的数据放在一起,统一的加工处理,是一个面向未来的分布式,服务化的架构。如果企业没有业务中台、只有数据中台,那它加工的结果大部分是服务于大屏,就搞一个大屏就结束了,那么这个数据中台就跟阿里理解的数据中台差的还远。阿里的中台,包括业务中台,数据中台。最底层是 IaaS+Data,中间是我们说的双中台,PaaS 层。上层是应用,SaaS,号称小前台。
数据中台与业务中台并称数字中台。其中,业务中台是负责支撑业务在线,将企业业务系统中通用的业务能力抽象成领域中心,使得这部分能力得到最大化的复用,支撑多端访问、多种类似的场景。数据中台是采用大数据存储和处理技术,对海量数据根据统一标准进行采集、计算、存储、加工处理,形成数据模型和数据资产,并通过数据服务提供给业务方使用。数据中台与业务中台最大的区别是业务中台围绕业务流程,而数据中台一切以数据为主题进行运转,包含数据采集、数据融合、数据建模、数据聚合分析、数据服务、数据资产治理;总之,前者旨在让业务数据化,后者旨在让数据业务化。
一个比较完善的业务中台几乎囊括了企业的核心业务,因此,业务中台是数据中台的数据原材料提供者之一;业务中台的领域中心是天然的主数据中心。因此,业务中台输出的数据更加标准、更加规范,大大降低数据中台的数据清洗工作;同时,数据中台经过数据建模形成的数据能力,必须与业务结合才能发挥其价值,那么业务中台就是让数据能力发挥价值的最合适的载体。通俗的说,如果将企业的信息化系统比喻成一辆自行车,那么业务中台和数据中台就是自行车的两个轮子,两个轮子通过数据这根“链条”紧密联系,发挥价值,离开哪一个轮子,信息化系统这辆自行车都无法正常行驶。再举一个例子,业务中台是炮火,数据中台是雷达。雷达分析的数据来源是业务中台,分析结果通过业务中台对业务产生反馈,从而采取业务活动,才是一切业务数据化,一切数据业务化。业务中台和数据中台是由于采用的技术手段不同而产生了相对隔离,但从业务的角度,他们是一体的,一起为企业业务服务的。
数据中台是一种理念,一种思维,是架构的升级,是一种面向未来的架构。
数据中台本身是一套非常复杂的体系,平台工具本身架构设计能力要求也非常高。但也不仅仅是架构,也不仅仅是产品,架构师和产品经理都推动不了,数据中台是一个顶层战略,数据中台涉及业务运转方式的改变,必须有足够的推力才能启动。是企业的一把手工程,是一个企业级战略,需要管理层、业务团队、技术团队、数据团队全部参与进来,目标是实现经营的数据化、精细化,实现企业的数字化转型。数据科学团队是数据中台的深入参与者,但也仅仅是多个角色的其中一个。中台数据是战略层面的事情而不是战术层面,自下向上推动几乎没有可能,比如涉及标准统一,从下而上只能看到一个点,难免会以偏概全。
中台承载的是企业最核心的业务能力,最核心的差异化竞争力,是战略层面的事情,没有战略层面的决心和耐心坚持下来就很难看到成果,有的时候,中台建设确实也需要“因为相信,所以看见”。中台建设需要有全员共识,由管理层从上往下推进,由技术和业务人员去执行和落地,是个漫长的过程,所以实施数据中台时,最困难的地方就是需要推动力。比如在中国有各种“数据墙”,大家都觉得数据有价值,也没有发挥这个价值,但是对数据又保护的很紧。为了解决某一块的业务,需要去拿多个部门的数据,有时甚至涉及到几十个部门,最初可能马上得到口头上的应允,但最后真正拿到数据却很困难,这时候推动力决定了整个项目的进展。
数据中台最重要的是要“帮企业把数据用起来,提升决策水平”,是一种数据思维。那么每一个企业都应该有这种思维,重视信息化技术,让数据发挥价值。不单单是因为业务复杂、数据量大、需要数字化转型的原因,是从业务开始就应该具备的一种理念。
未来任何企业都是必须的,未来任何一家企业都是数据化的企业,都需要一个数据中台。