大数据技术原理与实践PDF电子书下载

第1章 绪论 1

1.1 什么是大数据 1

1.2 大数据的特征 2

1.3 大数据分析的发展情况 3

1.4 大数据的相关政策 4

第2章 面向大数据的分布式存储系统 5

2.1 Bigtable 5

2.1.1 Bigtable构件 5

2.1.2 Bigtable实现 7

2.1.3 Tablet 7

2.1.4 Bigtable优化 10

2.1.5 Bigtable性能 13

2.1.6 实际应用 14

2.2 Google File System 16

2.2.1 GFS框架 16

2.2.2 Master节点 17

2.2.3 Chunk数据块 18

2.2.4 元数据 18

2.2.5 系统交互 20

2.2.6 容错和诊断 22

2.3 Dynamo 23

2.3.1 系统架构 24

2.3.2 系统实现 28

2.3.3 故障处理 29

2.4 小结 30

第3章 面向大数据的分布式处理框架 31

3.1 Hadoop 31

3.1.1 概述 31

3.1.2 实现运行 32

3.1.3 实际应用 32

3.2 MapReduce 34

3.2.1 MapReduce实现 34

3.2.2 MapReduce的实际应用 37

3.3 Spark 38

3.3.1 概述 38

3.3.2 RDD 38

3.3.3 Spark处理框架 39

3.3.4 Spark在实际中的应用 40

3.4 小结 41

第4章 面向大数据信息挖掘的算法 42

4.1 C4.5 42

4.1.1 算法描述 43

4.1.2 算法特性 46

4.1.3 软件实现 48

4.1.4 应用示例 48

4.1.5 相关研究 50

4.1.6 小结 51

4.2 k-means 52

4.2.1 算法描述 52

4.2.2 软件实现 55

4.2.3 应用示例 55

4.2.4 相关研究 58

4.2.5 小结 59

4.3 支持向量机 59

4.3.1 支持向量分类器 60

4.3.2 支持向量分类器的软间隔优化 61

4.3.3 核技巧 62

4.3.4 理论基础 64

4.3.5 支持向量回归器 66

4.3.6 软件实现 67

4.3.7 相关研究 67

4.3.8 小结 69

4.4 Apriori 70

4.4.1 算法描述 70

4.4.2 挖掘序列模式 74

4.4.3 软件实现 76

4.4.4 应用示例 77

4.4.5 相关研究 79

4.4.6 小结 84

4.5 EM 85

4.5.1 引言 85

4.5.2 算法描述 86

4.5.3 软件实现 86

4.5.4 应用示例 87

4.5.5 相关研究 88

4.5.6 小结 89

4.6 PageRank 90

4.6.1 算法描述 91

4.6.2 扩展：Timed-PageRank 94

4.6.3 小结 95

4.7 AdaBoost 95

4.7.1 算法描述 96

4.7.2 软件实现 99

4.7.3 应用示例 99

4.7.4 相关研究 103

4.7.5 小结 104

4.8 k-最近邻 104

4.8.1 算法描述 105

4.8.2 软件实现 107

4.8.3 相关研究 107

4.8.4 小结 108

4.9 Naive Bayes 108

4.9.1 算法描述 108

4.9.2 独立变量 110

4.9.3 模型扩展 111

4.9.4 软件实现 113

4.9.5 应用示例 113

4.9.6 相关研究 115

4.9.7 小结 116

4.10 分类和回归树算法 116

4.10.1 算法描述 116

4.10.2 深度讨论 118

4.10.3 软件实现 120

4.10.4 相关研究 121

4.10.5 小结 121

第5章 数据可视化 122

5.1 基本可视化图表 122

5.2 示例 125

5.2.1 全国就业和薪酬分析 126

5.2.2 2015年国内外搜索分析 128

5.3 可视化工具 131

5.4 D3.js 133

5.4.1 简介 133

5.4.2 搭建一个简易的D3开发环境 134

5.4.3 如何深入学习D3.js 134

第6章 大数据与人工智能 136

6.1 什么是深度学习 136

6.2 深度学习主流模型介绍 137

6.2.1 卷积神经网络 137

6.2.2 循环神经网络 139

6.3 深度学习实例 140

6.3.1 深度学习主流工具介绍 140

6.3.2 利用CNN模型识别MNIST手写数字数据集 141

6.3.3 利用RNN模型识别MNIST手写数字数据集 143

6.3.4 分布式深度学习 143

6.3.5 分布式深度学习实例 145

第7章 实践案例 147

7.1 云计算技术 147

7.1.1 服务模式 147

7.1.2 部署模型 148

7.2 公安智能大数据平台 148

7.2.1 背景 149

7.2.2 智能大数据平台架构 149

7.2.3 智能大数据平台功能介绍 150

7.3 交警智能大数据平台 156

7.3.1 交警智能大数据平台框架 156

7.3.2 交警智能大数据平台技术框架 157

7.3.3 功能展示 157

参考文献 162

附录 促进大数据发展行动纲要 166