阅读师姐大数据论文笔记

师姐大数据论文笔记

1. 数据挖掘不只是以存储数据的组织和呈现，而是一个从理解业务需求，寻找解决方案到接收实践检验的整个过程，过程中的每个阶段都需要建立科学的方法。
2. 营销模式3p3c：probability（概率），product（产品），prospects（消费者，目标用户），

Creative（创意），channel（渠道），cost/price（成本/价格）。

1. 数据挖掘的定义数据挖掘是以存储海量数据的大型数据库为基础，自动的去发掘隐藏在其中的有价值的信息。数据挖掘技术的目标是针对那些当雄的数据库，从其中发现前所未知的有价值模式，挖掘数据还有预测的作用，预测即将的未来的结果
2. 一灵狐卡机首次基于界面web的可进行免费数据挖掘的平台保罗polo。
3. 数据挖掘的步骤

大致为：信息收集，数据清理，数据集成，数据规约，数据变换，数据挖掘实施过程，模式评估和知识表示。

①  信息收集：确定进行数据分析的对象，列出数据分析中所需要的特征属性，然后收集信息数据将收集到的信息数据存入到数据库中，针对海量数据存储选择一个合适的数据仓库

②  数据清理：数据库中的数据会出现一下的问题。数据不完整，尤其是最为分子要点的属性缺少属性值；平滑噪声数据，包含错误的属性值；不一致的数据既同样的信息不同的表达式

③  数据集成：把异种来源的数据在逻辑上或物理上集合成统一模式

④  数据转换：把数据库中原始数据转换成为有利于进行数据挖掘的数据形式，数据概化，平滑聚集，规范化是数据转换常用的方法，对于实数型数据可通过数据的离散化和概念分层来进行转换

⑤  数据归纳：在不影响整个数据挖掘效果的前提下，数据归纳就是通过压缩数据以减少数据挖掘的冗余负担

⑥  数据挖掘的实施过程：依据数据仓库中的数据信息属性，选择合适的分析工具，将统计方法，决策树，规则推理，神经网络，遗传算法等方法应用到信息处理中，挖掘出有用的数据信息

⑦  模式评估：将挖掘出来的模型应用到商业，用商业效益来验证挖掘的正误。

⑧  知识表示：将数据挖掘出来的信息可视化的呈现个客户。

数据清洗，数据集成，数据规约合称为数据预处理即ETL。先进行数据清洗，洗掉脏数据为以后数据处理减轻不必要的工作量。

6.大数据的“大”并不仅指数据本身绝对的数量大，好友处理数据所使用的“大”模式，即尽可能收集全面的数据，完整数据和综合数据，挖掘出数据背后的关系，实现数据的“增值”。