第1章 数据仓库和数据挖掘概述 1
1.1 概述 1
1.1.1 数据仓库和数据挖掘的目标 1
1.1.2 数据仓库与数据挖掘的发展历程 2
1.2 数据中心 4
1.2.1 关系型数据中心 4
1.2.2 非关系型数据中心 4
1.2.3 混合型数据中心（大数据平台） 6
1.3 混合型数据中心参考架构 7
1.3.1 基础设施层 8
1.3.2 数据源层 8
1.3.3 交换服务体系 8
1.3.4 数据存储区 9
1.3.5 基础服务层 10
1.3.6 应用层 12
1.3.7 用户终端层 12
1.3.8 数据治理 12
1.3.9 元数据管理 12
1.3.10 IT安全运维管理 13
1.3.11 IT综合监控 14
1.3.12 企业资产管理 14
思考题 14
第2章 数据 15
2.1 数据的概念 15
2.2 数据的内容 15
2.2.1 实时数据与历史数据 15
2.2.2 事务数据与时态数据 16
2.2.3 图形数据与图像数据 16
2.2.4 主题数据与全局数据 17
2.2.5 空间数据 17
2.2.6 序列数据和数据流 18
2.2.7 元数据与数据字典 19
2.3 数据属性及数据集 20
2.4 数据特征的统计描述 21
2.4.1 集中趋势 21
2.4.2 离散程度 23
2.4.3 数据的分布形状 24
2.5 数据的可视化 24
2.6 数据相似性与相异性的度量 27
2.7 数据质量 30
2.8 数据预处理 31
2.8.1 被污染的数据 31
2.8.2 数据清理 33
2.8.3 数据集成 34
2.8.4 数据变换 35
2.8.5 数据规约 36
思考题 36
第3章 数据仓库与数据ETL基础 37
3.1 从数据库到数据仓库 37
3.2 数据仓库的结构 38
3.2.1 两层体系结构 39
3.2.2 三层体系结构 39
3.2.3 组成元素 40
3.3 数据仓库的数据模型 41
3.3.1 概念模型 41
3.3.2 逻辑模型 41
3.3.3 物理模型 44
3.4 ETL 44
3.4.1 数据抽取 45
3.4.2 数据转换 46
3.4.3 数据加载 46
3.5 OLAP 47
3.5.1 维 47
3.5.2 OLAP与OLTP 47
3.5.3 OLAP的基本操作 48
3.6 OLAP的数据模型 49
3.6.1 ROLAP 49
3.6.2 MOLAP 50
3.6.3 HOLAP 50
思考题 51
第4章 数据仓库和ETL工具 52
4.1 IBM DB2 V 10 52
4.1.1 自适应压缩 52
4.1.2 多温度存储 53
4.1.3 时间旅行查询 54
4.1.4 DB2兼容性功能 58
4.1.5 工作负载管理 58
4.1.6 PureXML 60
4.1.7 当前已落实 61
4.1.8 DB2 PureScale Feature 61
4.1.9 分区特性 63
4.1.10 并行技术 65
4.1.11 SQW 65
4.1.12 Cubing Services 65
4.1.13 列式存储及压缩技术 66
4.2 InfoSphere Datastage 68
4.2.1 基于Information Server的架构 69
4.2.2 企业级实施和管理 72
4.2.3 高扩展的体系架构 75
4.2.4 具备线性扩充能力 77
4.2.5 ETL元数据管理 78
4.3 InfoSphere QualityStage 78
思考题 80
第5章 数据挖掘基础 81
5.1 数据挖掘的起源 81
5.2 数据挖掘的定义 82
5.3 数据挖掘的任务 83
5.3.1 分类 83
5.3.2 回归分析 85
5.3.3 相关分析 85
5.3.4 聚类分析 85
5.3.5 关联规则 87
5.3.6 异常检测 88
5.4 数据挖掘标准流程 88
5.4.1 商业理解 89
5.4.2 数据理解 90
5.4.3 数据准备 90
5.4.4 建立模型 90
5.4.5 模型评估 90
5.4.6 发布 91
5.5 数据挖掘的十大挑战性问题 91
5.5.1 数据挖掘统一理论的探索 91
5.5.2 高维数据和高速数据流的研究与应用 92
5.5.3 时序数据的挖掘与降噪 92
5.5.4 从复杂数据中寻找复杂知识 92
5.5.5 网络环境中的数据挖掘 92
5.5.6 分布式数据挖掘 93
5.5.7 生物医学和环境科学数据挖掘 93
5.5.8 数据挖掘过程自动化与可视化 93
5.5.9 信息安全与隐私保护 93
5.5.10 动态、不平衡及成本敏感数据的挖掘 93
思考题 94
第6章 数据挖掘算法 95
6.1 算法评估概述 95
6.1.1 分类算法及评估指标 95
6.1.2 聚类算法及其评价指标 97
6.2 C4.5 99
6.2.1 信息论基础知识 100
6.2.2 ID3算法 102
6.2.3 C4.5 算法 104
6.2.4 C4.5 算法的实现 105
6.2.5 C4.5 的软件实现 107
6.3 CART算法 109
6.3.1 算法介绍 109
6.3.2 算法描述 112
6.4 K-Means算法 113
6.4.1 基础知识 113
6.4.2 算法描述 114
6.4.3 算法的软件实现 115
6.5 SVM算法 116
6.5.1 线性可分SVM 116
6.5.2 线性不可分SVM 118
6.5.3 参数设置 121
6.5.4 SVM算法的软件实现 123
6.6 Apriori算法 125
6.6.1 基本概念 125
6.6.2 Apriori算法 126
6.6.3 Apriori算法示例 129
6.6.4 Apriori算法的软件实现 131
6.7 EM算法 131
6.7.1 算法描述 132
6.7.2 基于EM的混合高斯聚类 133
6.7.3 算法的软件实现 134
6.8 PageRank 135
6.8.1 PageRank算法发展背景 135
6.8.2 PageRank算法描述 135
6.8.3 PageRank算法发展 138
6.9 Adaboost算法 139
6.9.1 集成学习 139
6.9.2 Adaboost算法描述 140
6.9.3 Adaboost算法实验 141
6.10 KNN算法 142
6.10.1 KNN算法描述 142
6.10.2 KNN算法的软件实现 144
6.11 Naive Bayes 144
6.11.1 基础知识 145
6.11.2 算法描述 145
6.11.3 Naive Bayes软件实现 147
思考题 148
第7章 数据挖掘工具与产品 149
7.1 数据挖掘工具概述 149
7.1.1 发展过程 149
7.1.2 基本类型 149
7.1.3 开发者与使用者 150
7.2 商业数据挖掘工具IBM SPSS Modeler 151
7.2.1 产品概述 151
7.2.2 可视化数据挖掘 153
7.2.3 SPSS Modeler技术说明 156
7.2.4 SPSS Modeler的数据挖掘应用 157
7.3 开源数据挖掘工具WEKA 158
7.3.1 WEKA数据格式 159
7.3.2 WEKA的使用 160
思考题 161
第8章 数据挖掘案例 162
8.1 概述 162
8.2 纳税评估示例 162
8.2.1 纳税评估监控等级预测的方法 163
8.2.2 构建税务行业数据中心 164
8.2.3 构建纳税评估监控等级模型 166
8.3 税收预测建模示例 168
8.4 税务行业纳税人客户细分探索 171
8.4.1 客户细分概述 171
8.4.2 客户细分的主要研究方法 171
8.4.3 构建客户细分模型 171
8.5 基于Hadoop平台的数据挖掘 175
8.5.1 基于IBM SPSS Analytic Server的数据挖掘 175
8.5.2 基于R的数据挖掘 175
思考题 176
第9章 大数据管理 177
9.1 什么是大数据 177
9.2 Hadoop介绍 178
9.3 NoSQL介绍 180
9.3.1 CAP定理 181
9.3.2 一致性 181
9.3.3 ACID模型 182
9.3.4 BASE模型 182
9.3.5 MoreSQL/NewSQL 182
9.4 InfoSphere BigInsights 3.0介绍 183
9.4.1 Big SQL 3.0 184
9.4.2 企业集成 190
9.4.3 GPFS-FPO 192
9.4.4 IBM Adaptive MR 192
9.4.5 BigSheets 193
9.4.6 高级文本分析 195
9.4.7 Solr 195
9.4.8 改进工作负载调度 196
9.4.9 压缩 197
思考题 198
参考文献 199