大数据创新人才培养系列 机器学习与大数据技术PDF电子书下载

第1章 绪论 1

1.1 机器学习 3

1.1.1 概述 3

1.1.2 评价准则 3

1.1.3 分类 5

1.1.4 常用工具 6

1.2 大数据 8

1.3 人工智能 8

1.4 图像处理技术 10

第2章 机器学习的理论与方法 11

2.1 回归分析与最小二乘法 11

2.2 聚类 12

2.2.1 简介 12

2.2.2 基本原理 13

2.2.3 常用聚类算法 14

2.3 遗传算法 17

2.3.1 简介 17

2.3.2 基本原理 17

2.3.3 特点与应用 18

2.4 蚁群算法 19

2.4.1 简介 19

2.4.2 基本原理 19

2.4.3 特点与应用 21

2.5 粒子群算法 21

2.5.1 简介 21

2.5.2 基本原理 21

2.5.3 特点与应用 23

2.6 人工神经网络 23

2.6.1 简介 23

2.6.2 神经网络基础 24

2.6.3 BP神经网络 29

2.6.4 RBF神经网络 30

2.7 支持向量机 31

2.7.1 简介 31

2.7.2 基本原理 31

2.7.3 特点与应用 35

2.8 隐马尔科夫模型 36

第3章 深度学习理论与方法 39

3.1 简介 39

3.2 常见模型 40

3.2.1 卷积神经网络 41

3.2.2 受限玻尔兹曼机 42

3.2.3 深度信念网络 44

3.2.4 自动编码器 45

3.2.5 降噪自动编码器 45

3.2.6 堆叠降噪自动编码器 46

3.3 应用场景 47

3.4 发展趋势 47

3.4.1 深度集成学习 47

3.4.2 深度强化学习 48

3.4.3 深度迁移学习 48

第4章 大数据处理技术 50

4.1 大数据简介 50

4.1.1 大数据概念与特点 50

4.1.2 大数据类型 51

4.1.3 大数据应用 52

4.2 大数据技术 52

4.2.1 数据获取与预处理技术 52

4.2.2 存储与管理技术 55

4.2.3 分析与挖掘技术 56

4.2.4 可视化技术 56

4.3 大数据处理框架 61

4.3.1 简介 61

4.3.2 Hadoop 62

4.3.3 Spark 64

4.3.4 Storm 65

4.3.5 HBase 66

4.3.6 Hive 66

4.4 大数据面临的挑战 67

4.4.1 数据安全性 67

4.4.2 计算复杂性 67

4.4.3 计算时效性 67

第5章 大数据与智能系统开发——以农业应用为例 68

5.1 农业信息化概述 68

5.1.1 农业信息概念 68

5.1.2 农业信息分类 69

5.1.3 农业信息技术 69

5.2 农业大数据概述 69

5.2.1 农业大数据的概念 69

5.2.2 农业大数据的特点 70

5.2.3 农业大数据的标准 70

5.2.4 农业大数据的发展趋势 70

5.3 农业大数据技术 71

5.3.1 获取与预处理技术 71

5.3.2 存储与集成技术 73

5.3.3 数据挖掘与时空可视化技术 74

5.3.4 发展趋势 74

5.4 农业大数据的机遇、挑战与对策 75

5.4.1 机遇 75

5.4.2 挑战与对策 75

5.5 基于安卓的农业智能 76

5.5.1 简介 76

5.5.2 App开发步骤 77

5.5.3 农业App 78

第6章 图像处理与分析技术 79

6.1 简介 79

6.1.1 常用术语 79

6.1.2 图像处理与分析基础 83

6.2 图像处理技术在农业中的应用 86

6.2.1 农业图像特点 86

6.2.2 农业应用场景 87

6.3 图像细化算法 88

6.3.1 细化算法原理 88

6.3.2 改进算法 89

第7章 机器学习、大数据技术和图像处理技术的应用——以农业应用为例 92

7.1 随机森林在棉蚜等级预测中的应用 92

7.1.1 随机森林原理 92

7.1.2 随机森林构建 93

7.1.3 袋外数据OOB和OOB估计 94

7.1.4 实验结果与分析 94

7.2 基于邻域核函数的局部支持向量机在树木图像分类中的应用 98

7.2.1 邻域核函数 99

7.2.2 基于邻域核函数的局部支持向量机 100

7.2.3 实验结果与分析 101

7.3 局部支持向量回归在小麦蚜虫预测中的应用 102

7.3.1 小麦蚜虫预测原理 103

7.3.2 数据来源与预处理 103

7.3.3 支持向量回归与局部支持向量回归 104

7.3.4 实验结果与分析 106

7.4 深度学习在小麦蚜虫短期预测中的应用 107

7.4.1 数据来源与预处理 107

7.4.2 模型评价指标 108

7.4.3 基于DBN_LSVR的小麦蚜虫短期预测模型 108

7.4.4 实验结果与分析 109

7.5 基于Spark的支持向量机在小麦病害图像识别中的应用 111

7.5.1 数据来源与预处理 111

7.5.2 基于Spark的支持向量机 115

7.5.3 实验结果与分析 117

7.6 Hadoop平台下基于粒子群的局部支持向量机 118

7.6.1 相关技术及算法 118

7.6.2 改进算法原理 120

7.6.3 MapRuduce实现 120

7.6.4 改进算法 120

7.6.5 实验结果与分析 121

第8章 Python基础 124

8.1 基础知识 124

8.1.1 Python安装与使用 124

8.1.2 编码规范 124

8.1.3 模块导入 125

8.1.4 异常处理 126

8.2 语言基础 127

8.2.1 基本数据类型 127

8.2.2 运算符与表达式 129

8.2.3 选择与循环 132

8.2.4 字符串 135

8.2.5 列表、元组与字典 136

8.2.6 正则表达式 142

8.3 函数 144

8.3.1 函数定义 144

8.3.2 函数调用 145

8.3.3 函数参数 145

8.3.4 返回值 147

8.3.5 变量作用域 148

8.4 类 148

8.4.1 类定义 148

8.4.2 类方法 149

8.4.3 继承与多态 150

8.4.4 应用举例 150

8.5 文件 154

8.5.1 打开和关闭 154

8.5.2 读写 155

8.5.3 其他操作 156

8.5.4 目录操作 156

第9章 Python数据处理与机器学习 158

9.1 矩阵计算 158

9.1.1 基础知识 158

9.1.2 应用举例 163

9.2 网络爬虫 165

9.2.1 基础知识 165

9.2.2 应用举例 168

9.3 数据库 169

9.3.1 Sqlite数据库 169

9.3.2 MySQL数据库 170

9.4 OpenCV图像编程 171

9.4.1 图像基础操作 171

9.4.2 图像几何变换 172

9.4.3 图像滤波 174

9.4.4 数学形态学 175

9.4.5 应用举例 175

9.5 数据可视化 176

9.5.1 matplotlib可视化 176

9.5.2 Plotly可视化 177

9.6 基于Python的机器学习算法 178

9.6.1 线性回归 178

9.6.2 Logistic回归 180

9.6.3 K近邻算法 182

9.6.4 K均值聚类 184

9.6.5 决策树 186

9.7 基于Python的大数据处理技术 190

9.7.1 MapReduce编程 190

9.7.2 应用举例 190

9.8 Tensorflow编程 190

9.8.1 简介 190

9.8.2 基础知识 192

9.8.3 应用举例 193

考文献 194