强化学习实战 强化学习在阿里的技术演进和业务创新PDF电子书下载

第1章 强化学习基础 1

1.1 引言 2

1.2 起源和发展 3

1.3 问题建模 5

1.4 常见强化学习算法 8

1.4.1 基于值函数的方法 9

1.4.2 基于直接策略搜索的方法 12

1.5 总结 14

第2章 基于强化学习的实时搜索排序策略调控 15

2.1 研究背景 16

2.2 问题建模 17

2.2.1 状态定义 17

2.2.2 奖赏函数设计 18

2.3 算法设计 19

2.3.1 策略函数 19

2.3.2 策略梯度 20

2.3.3 值函数的学习 21

2.4 奖赏塑形 22

2.5 实验效果 25

2.6 DDPG与梯度融合 27

2.7 总结与展望 28

第3章 延迟奖赏在搜索排序场景中的作用分析 30

3.1 研究背景 31

3.2 搜索交互建模 31

3.3 数据统计分析 33

3.4 搜索排序问题形式化 36

3.4.1 搜索排序问题建模 36

3.4.2 搜索会话马尔可夫决策过程 38

3.4.3 奖赏函数 39

3.5 理论分析 40

3.5.1 马尔可夫性质 40

3.5.2 折扣率 41

3.6 算法设计 44

3.7 实验与分析 48

3.7.1 模拟实验 48

3.7.2 搜索排序应用 51

第4章 基于多智能体强化学习的多场景联合优化 54

4.1 研究背景 55

4.2 问题建模 57

4.2.1 相关背景简介 57

4.2.2 建模方法 58

4.3 算法应用 65

4.3.1 搜索与电商平台 65

4.3.2 多排序场景协同优化 66

4.4 实验与分析 69

4.4.1 实验设置 69

4.4.2 对比基准 70

4.4.3 实验结果 70

4.4.4 在线示例 73

4.5 总结与展望 75

第5章 虚拟淘宝 76

5.1 研究背景 77

5.2 问题描述 79

5.3 虚拟化淘宝 80

5.3.1 用户生成策略 81

5.3.2 用户模仿策略 83

5.4 实验与分析 85

5.4.1 实验设置 85

5.4.2 虚拟淘宝与真实淘宝对比 85

5.4.3 虚拟淘宝中的强化学习 87

5.5 总结与展望 90

第6章 组合优化视角下基于强化学习的精准定向广告OCPC业务优化 92

6.1 研究背景 93

6.2 问题建模 94

6.2.1 奖赏设计 94

6.2.2 动作定义 94

6.2.3 状态定义 95

6.3 模型选择 100

6.4 探索学习 102

6.5 业务实战 103

6.5.1 系统设计 103

6.5.2 奖赏设计 105

6.5.3 实验效果 106

6.6 总结与展望 106

第7章 策略优化方法在搜索广告排序和竞价机制中的应用 108

7.1 研究背景 109

7.2 数学模型和优化方法 110

7.3 排序公式设计 112

7.4 系统简介 113

7.4.1 离线仿真模块 114

7.4.2 离线训练初始化 114

7.5 在线策略优化 117

7.6 实验与分析 118

7.7 总结与展望 120

第8章 TaskBot——阿里小蜜的任务型问答技术 121

8.1 研究背景 122

8.2 模型设计 123

8.2.1 意图网络 123

8.2.2 信念跟踪 124

8.2.3 策略网络 124

8.3 业务应用 126

8.4 总结与展望 127

第9章 DRL导购——阿里小蜜的多轮标签推荐技术 128

9.1 研究背景 129

9.2 算法框架 130

9.3 深度强化学习模型 133

9.3.1 强化学习模块 133

9.3.2 模型融合 134

9.4 业务应用 135

9.5 总结与展望 136

第10章 Robust DQN在淘宝锦囊推荐系统中的应用 137

10.1 研究背景 138

10.2 Robust DQN算法 140

10.2.1 分层采样方法 140

10.2.2 基于分层采样的经验池 141

10.2.3 近似遗憾奖赏 142

10.2.4 Robust DQN算法 143

10.3 Robust DQN算法在淘宝锦囊上的应用 144

10.3.1 系统架构 144

10.3.2 问题建模 145

10.4 实验与分析 147

10.4.1 实验设置 148

10.4.2 实验结果 148

10.5 总结与展望 152

第11章 基于上下文因子选择的商业搜索引擎性能优化 153

11.1 研究背景 154

11.2 排序因子和排序函数 156

11.3 相关工作 157

11.4 排序中基于上下文的因子选择 158

11.5 RankCFS：一种强化学习方法 162

11.5.1 CFS问题的MDP建模 162

11.5.2 状态与奖赏的设计 163

11.5.3 策略的学习 165

11.6 实验与分析 166

11.6.1 离线对比 167

11.6.2 在线运行环境的评价 170

11.6.3 双11评价 171

11.7 总结与展望 172

第12章 基于深度强化学习求解一类新型三维装箱问题 173

12.1 研究背景 174

12.2 问题建模 175

12.3 深度强化学习方法 177

12.3.1 网络结构 178

12.3.2 基于策略的强化学习方法 179

12.3.3 基准值的更新 180

12.3.4 随机采样与集束搜索 180

12.4 实验与分析 181

12.5 小结 182

第13章 基于强化学习的分层流量调控 183

13.1 研究背景 184

13.2 基于动态动作区间的DDPG算法 186

13.3 实验效果 189

13.4 总结与展望 189

第14章 风险商品流量调控 190

14.1 研究背景 191

14.2 基于强化学习的问题建模 192

14.2.1 状态空间的定义 192

14.2.2 动作空间的定义 193

14.2.3 奖赏函数的定义 193

14.2.4 模型选择 194

14.2.5 奖赏函数归一化 196

14.3 流量调控系统架构 196

14.4 实验效果 197

14.5 总结与展望 197

参考文献 199