第1章 绪论 1
1.1 日益增长的数据 1
1.1.1 大数据基本概念 2
1.1.2 大数据发展历程 2
1.1.3 大数据的特征 3
1.1.4 大数据的基本认识 4
1.2 人工智能 4
1.2.1 认识人工智能 4
1.2.2 人工智能的现状与应用 4
1.2.3 当人工智能遇上大数据 5
1.3 大数据与人工智能的机遇与挑战 6
1.3.1 大数据与人工智能面临的难题 6
1.3.2 大数据与人工智能的前景 7
第2章 数据工程 8
2.1 数据的多样性 8
2.1.1 数据格式的多样性 8
2.1.2 数据来源的多样性 9
2.1.3 数据用途的多样性 9
2.2 数据工程的一般流程 10
2.3 数据的获取 11
2.3.1 数据来源 12
2.3.2 数据采集方法 12
2.3.3 大数据采集平台 13
2.4 数据的存储与数据仓库 14
2.4.1 数据存储 14
2.4.2 数据仓库 14
2.5 数据的预处理技术 15
2.5.1 数据预处理的目的 15
2.5.2 数据清理 16
2.5.3 数据集成 17
2.5.4 数据变换 17
2.5.5 数据规约 17
2.6 模型的构建与评估 18
2.6.1 模型的构建 18
2.6.2 评价指标 18
2.7 数据的可视化 20
2.7.1 可视化的发展 20
2.7.2 可视化工具 21
第3章 机器学习算法 26
3.1 机器学习绪论 26
3.1.1 机器学习基本概念 26
3.1.2 评价标准 27
3.1.3 机器模型的数学基础 30
3.2 决策树理论 33
3.2.1 决策树模型 33
3.2.2 决策树的训练 35
3.2.3 本节小结 40
3.3 朴素贝叶斯理论 40
3.4 线性回归 43
3.5 逻辑斯蒂回归 46
3.5.1 二分类逻辑回归模型 46
3.5.2 二分类逻辑斯蒂回归的训练 47
3.5.3 softmax分类器 50
3.5.4 逻辑斯蒂回归和softmax的应用 50
3.5.5 本节小结 51
3.6 支持向量机 51
3.6.1 间隔 52
3.6.2 支持向量机的原始形式 53
3.6.3 支持向量机的对偶形式 55
3.6.4 特征空间的隐式映射：核函数 56
3.6.5 支持向量机拓展 58
3.6.6 支持向量机的应用 58
3.7 集成学习 58
3.7.1 基础概念 58
3.7.2 Boosting 61
3.7.3 Bagging 63
3.7.4 Stacking 64
3.8 神经网络 64
3.8.1 生物神经元和人工神经元 64
3.8.2 感知机 66
3.8.3 BP神经网络 67
3.8.4 Sklearn中的神经网络 70
3.8.5 本节小结 70
3.8.6 拓展阅读 70
3.9 聚类 70
3.9.1 聚类思想 70
3.9.2 性能计算和距离计算 71
3.9.3 原型聚类：k-means 72
3.9.4 密度聚类：DBSCAN 73
3.9.5 层次聚类 74
3.9.6 Sklearn中的聚类 75
3.9.7 本节小结 75
3.9.8 拓展阅读 75
3.10 降维与特征选择 75
3.10.1 维数爆炸与降维 75
3.10.2 降维技术 76
3.10.3 特征选择算法 78
3.10.4 Sklearn中的降维 78
3.10.5 本节小结 79
第4章 大数据框架 80
4.1 Hadoop简介 80
4.1.1 Hadoop的由来 80
4.1.2 MapReduce和HDFS 81
4.2 Hadoop大数据处理框架 82
4.2.1 HDFS组件与运行机制 82
4.2.2 MapReduce组件与运行机制 85
4.2.3 Yarn框架和运行机制 86
4.2.4 Hadoop相关技术 87
4.3 Hadoop安装与部署 88
4.3.1 安装配置单机版Hadoop 88
4.3.2 单机版WordCount程序 91
4.3.3 安装配置伪分布式Hadoop 92
4.4 MapReduce编程 97
4.4.1 MapReduce综述 97
4.4.2 Map阶段 97
4.4.3 Shuffle阶段 98
4.4.4 Reduce阶段 99
4.5 HBase、Hive和Pig简介 99
4.5.1 HBase简介 99
4.5.2 Hive简介 100
4.5.3 Pig简介 101
4.6 Spark简介 101
4.6.1 Spark概述 101
4.6.2 Spark基本概念 102
4.6.3 Spark生态系统 103
4.6.4 Spark组件与运行机制 104
4.7 Spark安装使用 105
4.7.1 JDK安装 105
4.7.2 Scala安装 107
4.7.3 Spark安装 107
4.7.4 Winutils安装 108
4.7.5 使用Spark Shell 108
4.7.6 Spark文件目录 110
4.8 Spark实例讲解 110
第5章 分布式数据挖掘算法 112
5.1 K-Means聚类方法 112
5.1.1 K-Means聚类算法简介 112
5.1.2 K-Means算法的分布式实现 112
5.2 朴素贝叶斯分类算法 117
5.2.1 朴素贝叶斯分类并行化设计思路 117
5.2.2 朴素贝叶斯分类并行化实现 117
5.3 频繁项集挖掘算法 121
5.3.1 Apriori频繁项集挖掘算法简介 121
5.3.2 Apriori频繁项集挖掘的并行化实现 122
第6章 深度学习简介 127
6.1 从神经网络到深度神经网络 127
6.1.1 深度学习应用 127
6.1.2 深度神经网络的困难 128
6.2 卷积神经网络 129
6.2.1 卷积神经网络的生物学基础 129
6.2.2 卷积神经网络结构 130
6.3 循环神经网络 132
6.3.1 循环神经网络简介 132
6.3.2 循环神经网络结构 133
第7章 数据分析实例 135
7.1 基本数据分析 135
7.1.1 数据介绍 135
7.1.2 数据导入与数据初识 135
7.1.3 分类 138
7.1.4 回归 139
7.1.5 降维 140
7.2 深度学习项目实战 141
7.2.1 Tensorflow与Keras安装部署 141
7.2.2 使用卷积神经网络进行手写数字识别 142
7.2.3 使用LSTM进行文本情感分类 144
参考文献 148
附录A 矩阵基础 149
附录B 梯度下降 152
附录C 拉格朗日对偶性 155
附录D Python语法知识 158
附录E Java语法基础介绍 170