第1章 数据挖掘概述 1
1.1 数据分析技术发展简介 1
1.1.1 数据时代 1
1.1.2 数据分析技术的发展 2
1.2 数据挖掘的概念 5
1.2.1 数据挖掘的定义与OLAP 5
1.2.2 数据挖掘与知识发现 6
1.3 数据挖掘的功能与应用领域 10
1.3.1 电子商务 10
1.3.2 电信行业 10
1.3.3 金融行业 11
1.3.4 医疗行业 11
1.3.5 社会网络 12
1.3.6 数据挖掘应用面临的问题 12
1.4 数据挖掘的模型 13
1.4.1 类/概念描述 13
1.4.2 回归 14
1.4.3 分类 15
1.4.4 预测 16
1.4.5 关联 16
1.4.6 聚类 17
1.4.7 异常检测 18
1.5 数据挖掘的数据类型 19
1.5.1 数据库 19
1.5.2 数据仓库 20
1.5.3 其他数据类型 21
1.6 数据挖掘的交叉学科 22
1.6.1 统计学 22
1.6.2 机器学习 23
1.6.3 数据库与数据仓库 23
第2章 Pandas数据分析 24
2.1 Pandas与数据分析 24
2.1.1 统计学与数据挖掘 24
2.1.2 常用的统计学指标 25
2.1.3 Pandas的简单介绍 27
2.2 Pandas统计案例分析 31
2.2.1 实现Pandas自行车行驶数据分析 31
2.2.2 实现Pandas服务热线数据分析 38
第3章 机器学习 43
3.1 数据挖掘中的机器学习 43
3.1.1 机器学习的含义 43
3.1.2 机器学习处理的问题 44
3.1.3 机器学习的框架 44
3.1.4 数据的加载和分割 46
3.2 机器学习的模型 47
3.2.1 模型的选择 47
3.2.2 学习和预测 48
3.2.3 实现机器学习模型 48
3.3 模型的评判和保存 49
3.3.1 分类、回归、聚类不同的评判指标 49
3.3.2 交叉验证 50
3.3.3 实现分类、回归指标 51
3.3.4 实现cross＿val＿score 52
3.3.5 实现模型的保存 53
3.4 支持向量机 54
3.4.1 支持向量机概述 54
3.4.2 实现支持向量机分类 55
3.4.3 实现支持向量机回归 56
3.4.4 实现支持向量机异常检测 56
3.5 过拟合问题 58
3.5.1 过拟合 58
3.5.2 实现学习曲线和验证曲线 60
第4章 分类算法与应用 63
4.1 数据挖掘分类问题 63
4.2 概率模型 64
4.2.1 原理 64
4.2.2 应用场景 67
4.3 朴素贝叶斯分类 67
4.3.1 原理与应用场景 67
4.3.2 实现朴素贝叶斯算法 68
4.4 向量空间模型 69
4.4.1 原理与应用场景 69
4.4.2 实现空间向量模型 70
4.5 KNN算法 73
4.5.1 原理与应用场景 73
4.5.2 实现KNN算法 75
4.6 多类问题 77
4.6.1 原理与应用场景 77
4.6.2 实现多类问题 79
第5章 回归算法与应用 82
5.1 回归预测问题 82
5.2 线性回归 84
5.2.1 原理与应用场景 84
5.2.2 实现线性回归 85
5.3 岭回归和Lasso回归 87
5.3.1 原理与应用场景 87
5.3.2 实现岭回归 90
5.4 逻辑回归 92
5.4.1 原理与应用场景 92
5.4.2 实现逻辑回归 94
第6章 无监督学习 97
6.1 无监督学习问题 97
6.1.1 无监督学习的概念 97
6.1.2 聚类分析的基本概念与原理 98
6.1.3 降维的基本概念与原理 98
6.14 聚类的框架 99
6.2 划分聚类 100
6.2.1 划分聚类的基本概念 100
6.2.2 K-Means算法 100
6.2.3 实现K-Means算法 103
6.3 层次聚类 106
6.3.1 层次聚类算法 106
6.3.2 实现层次聚类算法 108
6.4 聚类效果评测 109
6.5 降维 111
6.5.1 降维算法 111
6.5.2 实现降维 111
第7章 关联规则和协同过滤 114
7.1 关联规则 114
7.1.1 关联规则的概念 114
7.1.2 关联规则的挖掘过程 115
7.2 Apriori算法 116
7.2.1 Apriori算法的概念 116
7.2.2 Apriori算法的实现原理 116
7.2.3 Apriori算法的实现 118
7.3 协同过滤 122
7.3.1 协同过滤的概念 122
7.3.2 协同过滤的实现 127
第8章 图像数据分析 133
8.1 图像数据的相关概念 133
8.2 图像数据分析方法 135
8.3 图像数据分析案例 137
8.3.1 Python图像处理类库应用示例 137
8.3.2 NumPy图像数据分析示例 143
8.3.3 SciPy图像数据分析示例 146
8.3.4 Scikit-image的特征提取模块 149
8.3.5 综合练习 154
第9章 自然语言处理与NLTK 155
9.1 自然语言处理概述 155
9.2 NLTK入门基础 156
9.2.1 Python的第三方模块——NLTK 156
9.2.2 实现词条化 157
9.2.3 实现词千还原 158
9.2.4 实现词形归并 159
9.2.5 实现文本划分 160
9.2.6 实现数值型数据的转换 161
9.3 NLTK文本分析 164
9.3.1 实现文本分类器 164
9.3.2 实现性别判断 166
9.3.3 实现情感分析 167