区块链 与 数据分析、数据挖掘

区块链：

区块链本质上是一个去中心化的分布式账本数据库

记载方式不只是将账本数据存储在每个节点，而且每个节点会同步共享复制整个账本的数据

每个区块就像一个硬盘，将信息全部保存下来，在通过密码学进行加密，保证无法被篡改

特点：集体维护，无法篡改，公开

区块链测试简介

 如何做区块链项目测试？https://www.jianshu.com/p/5ccc1198dcfe

分布式存储：将数据分散存储在多台独立的设备上   （可以类比下 jenkins的分布式构建）

master-slave

基于区块链的分布式存储  https://www.jianshu.com/p/63a89df24931

传统集中式存储：一个服务器上有n个硬盘，一个硬盘有n个完整的文件

分布式存储：将一个完整的文件分成n片（即切片），然后将n个切片加密存储到不同的各个不同的硬盘上，每个硬盘只保存这个文件的一部分，同时有关切片的信息会被存储到区块链上，防止被篡改

 区块链分布式存储原理：https://www.jianshu.com/p/63a89df24931

 区块链分类账作为一个分散的数据库，用于维护每个交易的详细信息。这些交易按时间顺序加到分类账上，并以一组数据块的形式存储。每个块引用前面的块以形成一个相互连接的链

 区块链的原理：https://baijiahao.baidu.com/s?id=1648411203417032598&wfr=spider&for=pc

 分布式的意思：

一是数据由系统的所有节点共同记录，所有节点既不需要属于同一组织，也不需要彼此相互信任；　　

二是数据由所有节点共同存储，每个参与的节点均可复制获得一份完整记录的拷贝

 大数据

应用场景：能熊海量的数据中发现数据的内在联系，进而对事物的发展做出预测。

举例：尿布和啤酒之间  http://security.asmag.com.cn/news/201409/72700.html　　

淘宝每天推送的个人喜好

 云计算

 概念：分布式计算，通过网络解决任务分发，并进行计算结果的合并。

云计算提供了三大类服务，分别是基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）。IaaS主要针对具备开发能力的企业，比如互联网企业和软件开发企业；PaaS主要针对具备一定开发能力的企业，比如传统企业的软件开发团队；SaaS主要针对没有开发能力的广大传统企业和机构用户，只管使用软件就可以了

以上三者的区别通俗介绍：http://www.ruanyifeng.com/blog/2017/07/iaas-paas-saas.html

数据分析与数据挖掘

参考：https://blog.csdn.net/RedPintings/article/details/84881978

数据分析的模块有哪些：

1. numpy 高效处理数据，提供数组支持，很多模块都依赖它，比如pandas，scipy，matplotlib都依赖他，所以这个模块都是基础。所以必须先安装numpy。
2. pandas 主要用于进行数据的采集与分析
3. scipy 主要进行数值计算。同时支持矩阵运算，并提供了很多高等数据处理功能，比如积分，微分方程求样等。
4. matplotlib 作图模块，结合其他数据分析模块，解决可视化问题
5. statsmodels 这个模块主要用于统计分析
6. Gensim 这个模块主要用于文本挖掘
7. sklearn，keras 前者机器学习，后者深度学习。