现有大数据平台项目知识要点
大数据平台 不一定是数据多 而是数据杂
目前可以划分为4个阶段：
1数据采集阶段 入库
数据来源 各个方面 如：excel 各个数据库 数据获取
各个单位 存放于mysql对应的库 对应表中
2数据治理
etl过程 其实在 1 和2没有实际的区分
对非标准数据 进行标准化 既是数据清洗 存放在统一的平台 haddoop
3数据挖掘 分析阶段
这个阶段就是 算法 机器学习等对数据进行分析
4展示应用
现有大数据平台项目知识要点
大数据平台 不一定是数据多 而是数据杂
目前可以划分为4个阶段：
1数据采集阶段 入库
数据来源 各个方面 如：excel 各个数据库 数据获取
各个单位 存放于mysql对应的库 对应表中
2数据治理
etl过程 其实在 1 和2没有实际的区分
对非标准数据 进行标准化 既是数据清洗 存放在统一的平台 haddoop
3数据挖掘 分析阶段
这个阶段就是 算法 机器学习等对数据进行分析
4展示应用