摘要：华为云FusionInsight MRS产品经理陈祥在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS，一个架构实现三种数据湖》的主题演讲，分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖，以及业务实践中的成功案例等。
本文分享自华为云社区《华为云FusionInsight MRS云原生数据湖，一架构三湖，解密华为云FusionInsight MRS组件新特性》，原文作者： IT老磨。
5月20日，华为云FusionInsight MRS产品经理陈祥在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS，一个架构实现三种数据湖》的主题演讲，分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖，以及业务实践中的成功案例等。
进入智能数据时代，业界建设数据湖的十大共识
经过数十年的快速发展，大数据处理技术已日渐成熟，围绕数据仓库、数据湖衍生技术多如繁星，业界在多年的探索之中，也对未来数据湖形态有了十个重要共识，湖仓一体成为智能数据湖的首选架构。为应对智能数据时代对大数据技术提出的新挑战，华为云FusionInsight MRS云原生数据湖进行全面升级，引入了Hudi、ClickHouse热门组件，加强了自研的HetuEngine虚拟化引擎，同时新增IoTDB时序处理的能力，拓展数据使能应用的边界。
华为云FusionInsight MRS云原生数据湖
华为云FusionInsight MRS云原生数据湖为政企客户提供湖仓一体、云原生的数据湖解决方案，构建一个架构可持续演进的离线、实时、逻辑三种数据湖，支撑政企客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数据仓库、数据接入和治理等大数据应用场景，使政企客户高效用数、简化用数，助力政企客户实现一企一湖、一城一湖，业务洞见更准，价值兑现更快。
- 离线数据湖：提供交互式、BI、AI等多个计算引擎，采用OBS实现存算分离，使得云原生数据湖的架构更灵活。支持单集群2万+节点的超大规模，通过集群联邦，可支持10万+规模。支持滚动升级，保障关键业务升级不中断。
- 实时数据湖：通过Hudi支持ACID数据实时增量入湖、ClickHouse毫秒级OLAP分析等构建实时更新处理能力，使得供数时效从T+1到T+0。
- 逻辑数据湖：HetuEngine提供跨湖、跨仓、跨云的协同分析，实现湖仓一体，减少80%数据搬迁，协同分析提效50倍。
一架构三湖新特性，覆盖数据分析全流程
-
Hudi：增量实时入湖，实现数据入湖时效快、开发易、性能高、资源利用率更高
传统数据湖不支持数据更新，导致数据采用T+1离线处理模式，完全无法满足灵活多变的业务诉求，针对数据时效性问题，华为云FusionInsight MRS云原生数据湖引入Hudi。
Hudi可以支持数据更新、数据删除，还有ACID保证，保证数据实时入湖更新操作。它提供多种视图，包括读优化视图、增量视图、实时视图，可以对不同的分析应用提供不同的视图，基于这些技术可轻松实现增量表、拉链表，镜像表这些数据存储模型。引入Hudi后，带来四大显著效果：
- 数据时效更快：在业务系统，通过CDC的系统实现分钟级数据入湖，数据时效性从T+1到T+0。
- 处理性能更高：面对数据有删除、更新的场景下，传统采用Hive更新方式，仅处理一行数据也可能需要对整个表，至少要对整个分区进行处理，引入Hudi后处理效率提升10倍+。
- 开发更简单：对于开发人员来说，传统数据入湖不支持更新或者删除，开发人员需新建临时表，将数据处理后再进行覆盖，对同一个任务可能需要写很多代码去完成，有了Hudi的加持之后，做一个数据更新的操作就跟使用数据库一样简单，单条语句即可完成。
- 资源利用率更高：传统T+1的模式并不是24小时跑任务，而是在晚上进行批量加工，早上出报表，整个处理过程中，计算高峰期仅晚上跑批的时间，而资源却是按照高峰期的计算需求来配比，导致白天的资源利用不足，引入Hudi后，数据实时采集入湖，把入湖处理的工作分散到全天的过程，实际上把整个资源消耗的高峰和低峰抹平掉。
某金融客户基于Hudi构建数据湖，数据入湖时延降至分钟级，且白天资源利用率提升2倍+，数据处理效率提升50%，开发人员通过单条语句即可完成开发，简化开发难度。
-
ClickHouse：实时OLAP引擎，实现报表全自助高性价比的实时分析
传统的OLAP引擎因其处理能力有限，数据一般按照专题或者主题进行组织后再与BI工具对接，导致BI用户和提供数据的数据工程师脱节。比如BI用户有一个新的需求，所需的数据没有在专题集市中，需要将需求给到数据工程师，以便开发相应的ETL任务，这个过程往往需要部门间协调，时间周期长，协作效益低。
现在，华为云FusionInsight MRS云原生数据湖可以将所有明细数据以大宽表的形式加载ClickHouse，BI用户可以基于ClickHouse大宽表进行自助分析，对数据工程师供数要求少，甚至在面对大部分新需求时，无需重新供数，开发效率和BI报表上线率都会得到极大提升。同时，ClickHouse在一张表里的数据分析可达毫秒级。
基于ClickHouse实现自助BI在华为内部实践也获得了很好的效果。华为集团HIS数据湖原来基于传统OLAP引擎建模，受限于开发效率，几年才上线了几十个报表。在引入Clickhouse后，三个月时间开发上线了400+报表，业务上线效率提升50倍。目前，华为内部ClickHouse的整体使用规模已经达到2000+节点，数据量规模达10+PB，日增数据量100TB。
-
HetuEngine：数据虚拟化引擎，突破地理限制，打破数据“墙”
伴随企业发展与数字化转型的需求，企业业务越来越复杂，创新需求越来越高。单系**立工作难以满足业务的变化需求，企业内可能同时存在多个湖、多个仓、多个系统，但传统方案烟囱式建设，湖仓之间、多引擎之间无直接的互联互通能力，需要通过ETL数据来回搬迁，造成数据流转链路长，数据多份冗余，产生数据孤岛。系统多份数据冗余也难以保证数据的一致性和可靠性。
为了让数据使用更简单，跨湖协同更容易，解决湖仓数据割裂的问题，华为推出了数据虚拟化引擎HetuEngine，实现跨湖、跨仓和云上、云下、多云协同分析的能力，突破地理限制，打破数据“墙”，跨湖协同分析效率提升50倍，跨仓协同分析减少80%的系统间数据搬迁同步，分析性能从分钟级提升至秒级。
金融某行通过引入HetuEngine数据虚拟化引擎，在数据湖查询分析方面该行提升了并发能力，仅1/5的资源即可支持45并发，峰值并发最大达200QPS，平均时延优化到8秒；在湖仓协同分析方面，通过HetuEngine打通数据湖与数仓间的数据壁垒，湖仓协同分析性能从分钟级提升至秒级，同时减少80%的系统间数据搬迁同步，大大提升数据治理效率。
-
IoTDB：时序数据库，云边端协同轻松构建时序数据集市
时序数据具备两大特点：在端、边、云都有处理，时序数据采集后不需要更新。传统时序处理方案中，在端、边、云采用不同的技术栈，异构的技术栈必将带来数据处理的复杂性。清华大学开发的时序数据库IoTDB（又称时序引擎），通过统一的时序数据文件格式TsFile，实现一份数据兼容全场景，一套引擎打通云边端、一套框架集成云边端。华为跟清华大学保持紧密的合作，最新发布的IoTDB集群版本，就是华为与清华主导开发的一个版本。
在上海、成都、重庆等城市均已采用IoTDB管理地铁监控数据，原本144辆列车需要9台服务器，现在仅需一个IoTDB实例即可满足要求，测点的采样时延也从原来的500ms降至200ms，日增4140亿数据点管理，大大提升资源利用率。
结语
目前，华为云FusionInsight MRS云原生数据湖携手800+生态伙伴，已服务于3000+政企客户，广泛应用于公用事业、金融、运营商、能源、医疗、制造、交通等行业。