第1章 绪论 1
1.1 引言 1
1.2 多机器人系统中的信息融合 2
1.2.1 机器人传感器系统 2
1.2.2 机器人多传感器信息融合 2
1.3 多机器人协调与合作研究现状 4
1.4 多Agent信息融合与协调的研究现状 6
1.4.1 多Agent信息融合 7
1.4.2 多Agent协调与合作 7
1.5 机器人足球及其研究进展 9
1.5.1 机器人足球的发展概况 9
1.5.2 FIRA机器人足球比赛系统 10
1.5.3 机器人足球的关键技术和研究热点 11
1.6 本书的结构和内容安排 13
参考文献 14
第2章 多Agent的信息融合模型与方法 16
2.1 引言 16
2.2 Agent与MAS的概念及特性 17
2.2.1 Agent的由来及定义 17
2.2.2 Agent的特性 18
2.2.3 MAS的概念与特性 21
2.2.4 MAS与复杂系统 21
2.2.5 MAS与智能系统 23
2.3 信息融合技术概述 25
2.3.1 信息融合的概念与定义 26
2.3.2 信息融合的模型 27
2.3.3 信息融合应用与发展现状 31
2.4 多Agent信息融合模型 33
2.4.1 Agent体系结构 33
2.4.2 MAS体系结构 35
2.4.3 基于多Agent的信息融合模型 36
2.5 小结 37
参考文献 38
第3章 多Agent协调的学习与对策 41
3.1 引言 41
3.2 多Agent协调的理论与方法 42
3.2.1 协调的基本概念 42
3.2.2 MAS协调及其理论 43
3.3 Agent的学习模型与方法 46
3.3.1 强化学习 47
3.3.2 Markov决策过程 49
3.3.3 Q学习算法 50
3.4 多Agent的协调模型 52
3.4.1 黑板模型 52
3.4.2 合同网 53
3.4.3 通用部分全局规划 55
3.5 多Agent协调的对策与学习方法 55
3.5.1 Markov对策概述 56
3.5.2 冲突博弈 59
3.5.3 多Agent强化学习 60
3.6 小结 61
参考文献 61
第4章 基于证据推理的多Agent分布式决策 63
4.1 引言 63
4.2 证据推理理论 64
4.2.1 概率的几种解释及其性质 64
4.2.2 证据理论的数学基础 64
4.2.3 证据推理的基本概念 67
4.2.4 Dempster组合规则 68
4.2.5 证据决策规则 71
4.2.6 Dempster组合规则存在的问题 72
4.3 Agent信息模型 73
4.3.1 单支置信函数 73
4.3.2 基于证据推理的Agent信息模型 73
4.4 可传递置信模型 74
4.4.1 可传递置信模型的基本结构 74
4.4.2 辨识框架的粗分和细化 75
4.4.3 Pignistic概率转换 75
4.5 基于多Agent的分布式决策融合框架及算法 76
4.5.1 系统框架 76
4.5.2 融合中心 77
4.5.3 决策中心 78
4.6 仿真算例 79
4.6.1 赛场状态信息 79
4.6.2 对手的策略 81
4.7 多Agent分布式决策融合策略 83
4.7.1 异构融合 83
4.7.2 可靠性分配 84
4.7.3 融合处理 84
4.7.4 在机器人足球中的应用 84
4.8 小结 88
参考文献 89
第5章 强化函数设计方法及其在学习系统的应用 91
5.1 引言 91
5.2 强化学习应用中的关键问题 92
5.2.1 泛化方法 92
5.2.2 探索与利用的权衡 94
5.2.3 强化函数与算法结构设计 95
5.3 强化学习的奖惩函数 95
5.4 基于平均报酬模型的强化学习算法 98
5.4.1 报酬模型 98
5.4.2 最优策略 99
5.4.3 基于平均报酬模型的强化学习主要算法 99
5.5 一种基于知识的强化函数设计方法 101
5.5.1 强化函数的基本设计思想 101
5.5.2 基于知识的强化函数 103
5.5.3 仿真实验 103
5.6 小结 107
参考文献 107
第6章 基于分布式强化学习的多Agent协调方法 109
6.1 引言 109
6.2 多Agent强化学习基本理论 110
6.2.1 基于局部合作的Q学习 111
6.2.2 基于区域合作的Q学习 111
6.2.3 算法的收敛性 113
6.3 多Agent强化学习方法的特性 114
6.3.1 多Agent强化学习理论及假设的不同 114
6.3.2 多Agent强化学习模型及框架的差异 115
6.3.3 多Agent强化学习内容的区别 115
6.3.4 多Agent强化学习算法设计的迥异 116
6.4 多Agent强化学习算法的分类与比较 116
6.4.1 绝对合作型多Agent强化学习算法 116
6.4.2 绝对竞争型多Agent强化学习算法 117
6.4.3 混合型多Agent强化学习算法 117
6.4.4 平衡型多Agent强化学习算法 117
6.4.5 最佳响应型多Agent强化学习算法 118
6.4.6 分析与比较 118
6.5 MAS中的分布式强化学习模型及结构 118
6.5.1 中央强化学习结构 119
6.5.2 独立强化学习结构 119
6.5.3 群体强化学习结构 120
6.5.4 社会强化学习结构 120
6.6 基于分布式强化学习的多Agent协调模型及算法 120
6.6.1 协调级 121
6.6.2 行为级 121
6.6.3 强化信息的分配 121
6.6.4 仿真实验 122
6.7 小结 129
参考文献 130
第7章 基于Markov对策的多Agent协调 132
7.1 引言 132
7.2 多Agent交互的协调与博弈分析 133
7.2.1 多Agent协调与博弈的性质 133
7.2.2 多Agent协调失败的处理 134
7.3 多Agent冲突博弈强化学习模型 136
7.3.1 多Agent冲突博弈 136
7.3.2 最优策略 137
7.3.3 基于后悔值的Q学习模型 138
7.4 Nash-Q学习 140
7.5 零和Markov对策和团队Markov对策 141
7.5.1 零和Markov对策 141
7.5.2 团队Markov对策 143
7.6 基于Markov对策的多Agent协调策略 144
7.6.1 对策框架 144
7.6.2 Team级对策 144
7.6.3 Member级对策 145
7.6.4 仿真实验 145
7.7 小结 155
参考文献 155
第8章 Agent技术在机器人智能控制系统的应用 157
8.1 引言 157
8.2 智能机器人系统应用研究 158
8.2.1 概况 158
8.2.2 传统研究方法的缺陷 160
8.2.3 智能机器人系统的共性 160
8.3 开放式机器人智能控制系统应用研究 161
8.3.1 开放式控制系统的典型特征 161
8.3.2 基于PC的开放式控制系统的实现 162
8.4 多机器人系统应用研究 162
8.4.1 多机器人队形控制 163
8.4.2 机器人救援 165
8.4.3 多机器人追捕问题 166
8.5 总结与展望 168
8.5.1 总结 168
8.5.2 未来工作展望 169
参考文献 170