一.数据分析行业发展
1.如何收集、保存、管理、分析、共享正在呈指数式增长的数据是我们必须要面对的一个重要挑战。
2.数据分析包括数据采集、数据存储、检查、清洗、分析、转换和建模等方法对数据进行处理的一系列流程。用于结果的呈现和商业应用。
3.大数据4V特点:Volume【大量】、Velocity【高速】、Variety【多样】、Value【价值】。
4.大数据1.0时代停留在数据认知上,2.0则要求通过这些数据去解决问题。
5.大数据主要应用:
>大数据在预警方面发挥重要作用
>大数据分析成为市场营销的重要手段
>大数据在临床诊断、远程监控、药品研发等领域发挥重要作用
>大数据为金融领域的客户管理、营销管理及风险管理提供重要支撑
二.数据分析应具备的技能
1.和IT团队合作,组织管理数据并决定公司目标【数据存储】
2.从内部数据和外部数据中挖掘信息【数据挖掘】
3.数据清洗和修复数据,避免不必要的数据干扰【数据清洗】
4.用标准的统计工具分析和解析分析结果【分析工具】
5.在复杂的数据集合里指出趋势,找出关系和构建模型【建模】
6.为决策层提供数据和观点,让数据一目了然【数据可视化】
7.设计、创造和维护数据库和数据系统的关系【数据库】
8.分类问题和解数据相关问题【数据分析】
9.根据数据分析结果做出决策【数据分析】
10.研究数据间的相互关系【数据分析】
三.数据分析必须具备的素质
1.严谨负责,尊重数据真实性
2.敏感性强,善于提出问题
3.思路清晰,具有强烈的逻辑分析思维
4.擅长模仿,又要有创新
四.数据分析基本流程
1.采集
特点和挑战:并发高,数据来源种类繁多
2.导入/预处理
特点和挑战:数据量大
3.统计/分析
特点和挑战:数据量大,对系统资源占用大
4.挖掘
特点和挑战:挖掘算法复杂,计算涉及的数据量和计算量都很大,常用的挖掘算法以单线程为主
五.数据分析的分析导向
1.决策导向型
决策导向是从企业决策入手,进而研究分析方法,分析建模及算法,研究关键字段,找数据,是从客户导向出发的研究思路。
2.探索导向型
从大量无序数据中提取重要的关键信息进行分析,是数据驱动型研究,是未来的趋势,更有价值。