第1章 绪论 1
1.1 个体行为的定义及特征 1
1.1.1 行为的表现形式 1
1.1.2 行为的时空特性 2
1.1.3 行为的层次结构 2
1.2 个体行为的影响因素 4
1.2.1 环境因素 4
1.2.2 习惯因素 4
1.2.3 生理状态 5
1.3 人体行为的分类 5
1.3.1 肢体行为分类 5
1.3.2 情绪状态分类 6
1.4 行为识别的研究意义与进展 7
1.4.1 行为识别的应用领域 7
1.4.2 行为识别的科学价值 8
1.4.3 行为识别的研究进展 9
参考文献 9
第2章 个体行为的获取与监测 10
2.1 视觉获取方法 10
2.1.1 有标记视觉获取 11
2.1.2 无标记视觉获取 15
2.2 可穿戴传感器获取 19
2.2.1 生物传感器获取 20
2.2.2 惯性传感器获取 25
2.3 非穿戴监测方法 30
2.3.1 声音信号监测 30
2.3.2 电容场信号监测 34
2.3.3 电子标签监测 37
2.4 行为获取系统框架 42
参考文献 45
第3章 行为识别的理论依据 48
3.1 行为数据的处理 49
3.1.1 数据滤波 49
3.1.2 数据分割 52
3.2 行为数据的特征选择及提取 63
3.2.1 主分量分析 63
3.2.2 独立分量选择 64
3.2.3 核函数的方法 69
3.2.4 特征选择算法 71
3.3 行为的分类工具 76
3.3.1 最近邻与K最近邻 76
3.3.2 决策树 79
3.3.3 卷积神经网络 83
3.3.4 支持向量机 89
3.4 识别过程中的信息融合 93
3.4.1 多数投票法 93
3.4.2 贝叶斯理论的分类器融合 94
3.4.3 基于证据理论的分类器融合 95
参考文献 99
第4章 行为识别系统的系统平台 101
4.1 行为识别系统的结构 102
4.2 行为识别系统中的任务分配 104
4.2.1 视频读取与预处理的实现 105
4.2.2 行为识别系统训练过程的实现 106
4.2.3 行为识别系统特征可视化的实现 109
4.2.4 行为识别系统识别过程的实现 111
4.3 行为识别的软件环境 112
4.3.1 计算机视觉库OpenCV 113
4.3.2 跨平台用户界面框架QT 114
4.3.3 行为识别系统软件框架 114
4.4 行为识别系统的系统平台 115
4.4.1 微软Azure machine learning平台 115
4.4.2 谷歌TensorFlow平台 120
参考文献 127
第5章 语言识别及情感分析 128
5.1 语言中的文字识别 128
5.1.1 语音信号预处理 128
5.1.2 语音识别的特征提取 129
5.1.3 文字识别模型及系统 135
5.2 基于语言文本的情感识别 136
5.2.1 文本数据信息抽取 137
5.2.2 文本内容的分类与聚类 139
5.3 基于语音信号的情感识别 142
5.3.1 基于改进KNN算法的语音情感识别 142
5.3.2 基于微软Azure平台的语音情感识别 144
参考文献 147
第6章 肢体动作捕捉及行为识别 148
6.1 手势捕捉及识别 149
6.1.1 手势捕捉的特点 149
6.1.2 基于视觉的手势识别 150
6.1.3 基于惯性传感的手势捕捉 168
6.2 肢体动作捕捉 175
6.2.1 基于视觉的肢体动作捕捉 176
6.2.2 基于惯性传感的肢体动作捕捉 181
6.3 肢体行为的行为识别 193
6.3.1 手语识别 194
6.3.2 肢体动作行为识别 197
参考文献 201
第7章 面部特征识别与表情理解 205
7.1 面部的精确定位 206
7.1.1 肤色混合高斯模型 207
7.1.2 光线补偿 209
7.1.3 肤色区域检测 210
7.1.4 肌肉纹理 210
7.1.5 嘴唇定位 212
7.1.6 眉毛检测 215
7.2 面部图像滤波及归一化 217
7.2.1 面部图像滤波 217
7.2.2 面部图像归一化 219
7.3 面部表情的疲劳状态检测 221
7.3.1 疲劳状态面部特征 221
7.3.2 疲劳程度判断 222
7.3.3 基于粗糙集理论的疲劳状态判断 222
7.4 面部表情的情感理解 224
7.4.1 面部情感类别及标准库 224
7.4.2 融合LBP及LPQ特征的面部情感识别 226
参考文献 231
第8章 基于个体行为理解的人机协同系统 234
8.1 人机协同的基本概念 235
8.1.1 人机协同的定义 236
8.1.2 人机协同的问题 238
8.1.3 研究现状与发展趋势 243
8.2 个体行为的习惯建模 246
8.2.1 行为习惯认知及意义 246
8.2.2 个体行为习惯挖掘的相关工作 247
8.2.3 个体行为习惯模式 249
8.2.4 基于个体行为习惯的人类动力学建模 250
8.3 人机协同决策与推理机制 253
8.3.1 推理的基础知识 254
8.3.2 人机推理对比 258
8.3.3 人机协同系统的结构特征与推理机制 260
8.4 人本控制系统架构 262
8.5 人机协同系统案例 263
8.5.1 “沃森”简介 263
8.5.2 “沃森”的工作机制 264
8.5.3 沃森医生——“肿瘤专家顾问”专家系统 267
8.5.4 沃森医生与人类医生共同协作 269
参考文献 270