数据挖掘笔记（一）

数据--》数据仓库--》数据挖掘-》模型评估-》知识

数据分析

通过数据分析可以发现最有价值客户，是组合销售更有效率，留住那些最有价值客户，用更小的成本发现欺诈现象。通信业手机数据分析目的是为了方便快捷地管理用户。但数据中包含了很多关于各个变量之间关系的信息，这些信息可被用来改进相关领域的决策。

基础在于数据库的数据的处理，数据处理有两种类型

1、操作型（联机事务处理OLTP（on-line transaction processing，与业务活动关联）

也称为事务处理，例如我们对数据的增删改查，为特定的应用服务。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。关心的是响应时间、数据的安全性和完整性。

• 性能特性：数据存取操作频率高，而每次操作处理时间短
• 数据集成：对整个企业范围内的集成应用考虑少

2、分析型（联机分析处理OLAP，On-Line Analytical Processing，与决策活动关联）

需要大量访问历史数据库，支持复杂查询，去除细节数据，并常使用外部数据来源。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

• 性能特性：需要运行时间长，消耗系统资源多
• 数据集成：全面，企业内部数据，企业外部数据，竞争对手的数据等等

在操作型环境中直接构建分析型应用是一种失败的尝试，需要将分析型处理数据和操作型处理数据分离。

数据仓库

为了满足管理人员的决策分析需求，需要在数据库基础上产生适应决策分析的数据环境，即数据敞开。数据仓库提供联机分析处理（OLAP，On- Line Analytical Processing）工具，具有汇总、合并和聚集功能，以及从不同角度观察信息的能力。尽管OLAP工具支持多维分析和决策，对于深层次的分析，如数据 分类、聚类和数据随时间变化的特征仍然需要其他分析工具。

数据仓库是作为DSS服务基础的分析DB，用来存放大量的只读数据，为制定决策提供所需信息。

数据敞开是与操作型系统相分离的、基于标准企业模型集成的，带有时间属性的（即与企业定义的时间去端相关）、面向主题及不可更新的数据集合。

定义：数据仓库就是一个用以更好地支持企业或组织的决策分析处理，面向主题（subject-oriented)，集成的(integrated)，不可更新的，随时间不断变化（time-variant)的数据集合。

数据仓库支持OLAP、数据挖掘和决策分析。OLAP从数据仓库中的综合数据出发，提供面向分析的多维模型，并使用多维分析的方法从多个角度、多个层次对多维数据进行分析，使决策者能够以更加自然的方式来分析数据。

数据仓库是一种语义上一致的数据存储，他充当决策支持数据模型的物理实现，并存放企业战略决策所需信息。数据仓库也常被看作一种体现结构，通过将异种数据源中的数据集成在一起而构造，支持结构化和专门的查询、分析报告和决策制定。

早期数据仓库是C/S，近年从功能上划分为若干个分布式对象，这些分布式对象不仅可直接用于建立数据仓库，还可以在应用程序中向用户提供调用接口。

相关产品：IBM DB2；微软：在SQL Server 7.0和SQL Server 2000集成了Plato的OLAP服务器；Sybase：Warehouse Studio；Oracle：Oracle Warehouse Builder，Oracle Express，DataMart Suit

数据挖掘

数据挖掘Data mining也就是KDD（Knowledge Discovery in Databases知识发现的分析过程）。

数据挖掘工具进行数据分析可以发现重要的数据模式，对商务决策，知识库、科学和医学研究作为巨大贡献。数据挖掘以数据敞开和多维数据库中的数据为基 础，发现数据中的现在模式和进行预测。因此，数据敞开的功能是支持管理层进行科学决策。数据挖掘就是从杂乱无章的数据中找出规律，将数据转为信息的一个过 程。要具有普遍意义，需从海量数据来挖掘。

数据挖掘步骤：

1. 数据的选择，数据的净化，消除噪声或不一致数据，多种数据源组合在一起
2. 数据选择与变换：从数据库中建设与分析任务相关的数据，经数据变换或统一成为适合挖掘的形式，如通过汇总或聚集操作。
3. 数据挖掘阶段：基本步骤，使用智能方法提取数据模式
4. 时序模式（例如在买记过打印机的人中，半年后80%再购买新的硒鼓），分类、关联分析（购买面包的顾客中有90%的人同时购买了牛奶），聚类。
5. 模式评估：根据某种兴趣度度量，识别表示知识的真正有趣的模式。
6. 知识表示：使用可视化和知识表示技术，向用户提供挖掘的知识。

来源：

1. http://www.docin.com/p-3395432.html