Status: week 2 done.
Week 1, 主要讲了大数据的的来源 - 机器产生的数据，人产生的数据（比如社交软件上的update, 一般是unstructed data）, 组织产生的数据(一般是structured data)
怎么把unstructured data 转化成 structured data?
利用 Hadoop, Storm, Spark and NoSQL. Hadoop 能解决data量大的问题，因为它是支持分布式计算的。 Storm 和 Spark 能分析像社交应用这种短时间内产生大量实时数据的情况, 还能和任何类型的DB集成.
传统的数据仓库是下面这样的。structed data 存在data warehouse里.
而现在的大数据时代，很多企业都是采用hybrid方案 - 把少量数据存在structured DB里，而更多的数据放在云上的 NoSQL DB里.
下面是两种NoSQL类型的数据库
Neo4j - graph db
Cassandra - key value db
Week 2
big data 的特征可以用几个V来概括.
Volume - Scale of data
Velocity (=Speed) - Analysis of streaming data (数据产生快，存储快，处理快)
Variety - Different forms of data
Veracity (=Quality) - Uncertainty of data
Valence - Connectness of big data in the forms of graphs
Getting value out of big data: 分析 big data, 形成 insight, 进而转化为 Action.
一个data stientist 应该具有相关的 technical skills, bussiness skills 和 soft skills, 并且因为需要的技能很多，最好形成团队来做一件事情.
Buiding a big data strategy:
strategy 要成功，需要管理层的支持，一个多技能的团队，相应的培训，一个测试idea 的mini lab, 移除存取数据的障碍
数据科学的5个P
Steps in the data science process
1. 获取原数据
从哪里获取，通过什么技术？
数据有结构化和非结构化的，来自不同来源. 结构化数据可以通过SQL 读取. 来自文件的data 可以通过Python等脚本语言读取. 远程数据(格式可能是xml, html, json ) 通过web service (rest, soap, web socket) 读取. 非结构化数据可以通过非结构数据库提供的API或者web service 来读取 (如下)
2. 准备数据
2.1 Explore data - understand your data (分析correlation, 画图表)
2.2 Pre-process (clean, integrate, package) ：
Clean
Transform (Scaling, feature selection, Dimensionality Reduction)
3. 分析数据 （选分析技术，创建model）
要分析具体是什么问题然后选取对应的分析技术，比如，regression, classification, clustering, graph analytics, association analysis
4. 报告分析结果
报告什么内容，用什么技术 （R, Python 都有很好的画图功能）
5. Action - Turn insight into action