1模式识别与机器学习基本概念 1
1.1 模式识别 1
1.1.1 基本概念 1
1.1.2 模式识别应用 4
1.1.3 模式识别系统 6
1.1.4 模式识别基本方法 7
1.1.5 模式识别基本问题 7
1.1.6 模式识别基本准则 8
1.2 机器学习 9
1.2.1 简介 9
1.2.2 机器学习的分类 9
1.2.3 深度学习 9
1.3 机器学习与模式识别算法评价指标 10
1.3.1 查全率与准确率 10
1.3.2 交叉验证 10
1.3.3 混淆矩阵 11
1.4 K近邻算法 12
1.5 顶级会议和期刊 13
1.5.1 顶级会议 13
1.5.2 顶级期刊 14
1.5.3 国内重要期刊 17
2判别函数 18
2.1 判别函数 18
2.1.1 线性判别函数 18
2.1.2 非线性判别函数 23
2.2 Fisher线性判别函数 24
3特征提取与选择 26
3.1 简介 26
3.2 基本概念 26
3.3 类别可分性判据 27
3.3.1 基于距离的可分性判据 27
3.3.2 基于概率分布的可分性判据 28
3.4 主成分分析 29
3.4.1 简介 29
3.4.2 基本原理 30
3.4.3 具体步骤 31
3.4.4 应用举例 32
3.4.5 核主成分分析法 33
3.5 图像特征 33
3.5.1 颜色特征 33
3.5.2 纹理特征 34
3.5.3 形状特征 35
4贝叶斯分类 36
4.1 简介 36
4.1.1 相关统计概念 36
4.1.2 贝叶斯定理 37
4.2 贝叶斯分类 38
4.3 朴素贝叶斯分类 39
4.3.1 简介 39
4.3.2 基本原理 39
4.3.3 分类举例 39
4.4 贝叶斯网络 41
4.4.1 结构形式1 41
4.4.2 结构形式2 42
4.4.3 结构形式3 42
4.4.4 举例 43
4.5 基于Python的朴素贝叶斯分类实现 44
5聚类分析 46
5.1 聚类概念 46
5.2 聚类算法分类 46
5.3 相似性度量 47
5.4 聚类准则 49
5.5 C均值聚类 49
5.5.1 简介 49
5.5.2 基本原理 49
5.5.3 C均值算法的优缺点 50
5.6 模糊模式识别 50
5.6.1 简介 50
5.6.2 相关概念 50
5.6.3 模糊集合的运算 53
5.6.4 模糊C均值聚类 54
6支持向量机 56
6.1 简介 56
6.2 VC维与结构风险最小化 56
6.2.1 VC维 56
6.2.2 经验风险最小化 56
6.3 基本原理 57
6.4 核函数 57
6.4.1 简介 57
6.4.2 结构数据的核函数 58
6.5 多类支持向量机 59
6.5.1 一对一支持向量机 60
6.5.2 一对多支持向量机 60
6.5.3 二叉树支持向量机 61
6.5.4 有向无环图支持向量机 62
6.6 单类支持向量机 62
6.6.1 基于密度的单类支持向量机 62
6.6.2 基于边界的单类支持向量机 63
6.7 基于增量学习的支持向量机 63
6.7.1 错误驱动法 63
6.7.2 固定划分法 63
6.7.3 过间隔法 63
6.7.4 错误驱动法＋过间隔法 64
6.8 基于Python的支持向量机的实现 64
7人工神经网络 67
7.1 简介 67
7.1.1 发展过程 67
7.1.2 人工神经元 68
7.1.3 人工神经网络特点 69
7.1.4 人工神经网络分类 69
7.1.5 激活函数 69
7.2 感知器 72
7.2.1 单层感知器 72
7.2.2 多层感知器 73
7.3 BP神经网络 73
7.3.1 简介 73
7.3.2 基本原理 73
7.3.3 算法步骤 74
7.3.4 BP网络参数选择 75
7.4 RBF神经网络 75
7.5 Hopfield网络 77
7.5.1 离散Hopfield神经网络 77
7.5.2 连续型Hopfield神经网络 78
7.6 最新的几种深度学习网络 78
7.6.1 受限玻尔兹曼机 79
7.6.2 卷积神经网络 79
7.6.3 深度信念网络 81
7.6.4 循环神经网络 81
7.6.5 生成对抗网络 82
8机器学习与模式识别应用——以农业为例 83
8.1 简介 83
8.2 计算机视觉 83
8.2.1 定义 83
8.2.2 计算机视觉研究的主要内容 84
8.2.3 机器视觉系统 85
8.2.4 计算机视觉的开源库和编程工具 85
8.3 模式识别与机器学习在农业中应用研究 85
8.4 Python的安装和搭建 86
8.5 基于深度学习的泰山树木分类识别 88
8.5.1 系统开发环境 88
8.5.2 树木图像采集 88
8.5.3 系统设计 89
8.5.4 源码实现 90
8.6 基于生成式对抗网络的小麦叶部病害图像生成 93
8.6.1 简介 93
8.6.2 图像数据 93
8.6.3 实验过程 94
9线性代数 97
9.1 标量与向量 97
9.1.1 定义 97
9.1.2 常见的向量 97
9.2 向量运算 97
9.2.1 向量的加法 97
9.2.2 向量的减法 98
9.2.3 向量的标量乘法 98
9.3 线性方程组和行列式 98
9.4 矩阵 100
9.4.1 基本概念 100
9.4.2 特殊矩阵 100
9.4.3 矩阵运算 101
9.4.4 初等变换 104
9.4.5 矩阵的秩 104
9.4.6 矩阵与向量的关系 105
9.5 特征值和特征向量 106
9.5.1 定义 106
9.5.2 基本性质 106
9.6 矩阵的分解 107
9.6.1 三角分解 107
9.6.2 QR分解 108
9.6.3 满秩分解 108
9.6.4 奇异值分解 108
9.7 张量 109
10概率论与数理统计 110
10.1 随机事件 110
10.1.1 随机现象 110
10.1.2 随机事件 110
10.1.3 事件关系 110
10.1.4 事件运算 111
10.2 概率 111
10.2.1 定义 111
10.2.2 条件概率 112
10.2.3 先验概率和后验概率 113
10.2.4 事件独立性 113
10.3 随机变量及其分布 114
10.3.1 随机变量的定义 114
10.3.2 分布函数 114
10.4 随机变量的数字特征 115
10.4.1 数学期望 115
10.4.2 方差及标准差 116
10.4.3 分位数 116
10.4.4 协方差与协方差矩阵 116
10.4.5 变异系数 117
10.4.6 相关系数 117
10.5 常见的分布 118
10.5.1 二项分布 118
10.5.2 泊松分布 118
10.5.3 正态分布 119
10.5.4 均匀分布 120
10.5.5 指数分布 120
10.6 多元随机变量及其分布 120
10.6.1 二元随机变量及其分布函数 120
10.6.2 边缘分布 123
10.6.3 条件分布 124
10.7 数理统计 124
10.7.1 统计量及其分布 124
10.7.2 参数估计 126
10.7.3 单因素方差分析 128
10.7.4 回归分析与最小二乘法 130
11最优化理论与信息论 132
11.1 最优化问题描述 132
11.2 对偶理论 133
11.2.1 等式约束的优化问题的求法 133
11.2.2 不等式约束的优化问题的求法 133
11.3 常用的优化算法 134
11.3.1 最速下降法 134
11.3.2 牛顿法 135
11.4 信息论基础 136
11.4.1 信息概念 136
11.4.2 自信息和信息熵 136
参考文献 138