1、设计和实现了一种基于 Spark 的分布式 ETL 系统,包括利用 Spark 抽取、
转换清洗和加载数据的具体过程。
2、设计和实现了基于 Spark 的物流企业数据仓库,包括物流企业数据仓库
的分析主题、维度表和事实表确定以及数据仓库的维度模型、架构、构建过程和
实现方法等内容。该数据仓库利用 Hive 定义物流企业数据仓库表,SparkSQL 对
表进行查询分析操作,底层采用的 Spark 计算引擎,大大提高了查询分析的效率;
1、设计和实现了一种基于 Spark 的分布式 ETL 系统,包括利用 Spark 抽取、
转换清洗和加载数据的具体过程。
2、设计和实现了基于 Spark 的物流企业数据仓库,包括物流企业数据仓库
的分析主题、维度表和事实表确定以及数据仓库的维度模型、架构、构建过程和
实现方法等内容。该数据仓库利用 Hive 定义物流企业数据仓库表,SparkSQL 对
表进行查询分析操作,底层采用的 Spark 计算引擎,大大提高了查询分析的效率;