第1章 视频编码基础 1
1.1 数字视频信号 1
1.1.1 视频信号的采集 2
1.1.2 视频信号的数字化 3
1.1.3 视频信号的显示 6
1.1.4 数字视频的格式 7
1.1.5 高清和超高清视频 10
1.2 视频信号的统计特性 10
1.2.1 图像的自相关函数 11
1.2.2 像素差值的自相关函数 12
1.3 混合编码 13
1.3.1 预测编码 13
1.3.2 变换编码 14
1.3.3 运动估计和运动补偿 15
1.3.4 混合编码框架 18
1.4 量化和熵编码 19
1.4.1 量化 19
1.4.2 Zig-zag扫描 19
1.4.3 熵编码 20
1.5 率失真优化 20
1.5.1 图像的信源熵 20
1.5.2 率失真定理 22
1.5.3 失真率函数 25
1.5.4 有记忆信源的处理 26
1.5.5 率失真优化编码 26
1.6 图像质量的评价 29
1.6.1 主观质量评价方法 29
1.6.2 客观质量评价方法 30
1.6.3 SSIM质量评价方法 31
本章参考文献 32
第2章 视频编码的国际标准 34
2.1 H.26x标准 35
2.1.1 H.261标准 35
2.1.2 H.263标准 38
2.2 MPEG-x标准 39
2.2.1 MPEG-1标准 40
2.2.2 MPEG-2标准 40
2.2.3 MPEG-4标准 42
2.3 H.264/AVC标准 43
2.3.1 多方向帧内预测 44
2.3.2 多模式运动估计 44
2.3.3 整数变换和熵编码 45
2.3.4 差错控制 45
2.4 AVS标准 46
2.5 VC-1标准 46
2.6 HEVC标准 47
2.6.1 HEVC标准的进程 48
2.6.2 HEVC技术概要 52
本章参考文献 55
第3章 HEVC的编码结构 57
3.1 H.264/AVC的编码结构 57
3.1.1 宏块灵活划分 58
3.1.2 图像的条划分 58
3.1.3 档次和水平 59
3.2 HEVC的网络适配和编码方式 61
3.2.1 视频编码层和网络提取层 61
3.2.2 三种编码方式 63
3.3 HEVC的四叉树划分 63
3.3.1 图像的取样格式 64
3.3.2 编码树单元和编码单元划分 65
3.3.3 预测单元划分 67
3.3.4 变换单元划分 68
3.3.5 CTU划分实例 69
3.4 HEVC的条和片划分 70
3.4.1 条划分 71
3.4.2 片划分 72
3.4.3 条/片划分实例 74
3.5 HEVC的档次、水平和等级 75
3.5.1 档次 76
3.5.2 水平 77
3.5.3 等级 77
本章参考文献 79
第4章 HEVC的帧内预测 80
4.1 帧内编码 80
4.1.1 空域预测编码 80
4.1.2 最佳线性预测 82
4.2 H.264/AVC的帧内预测 82
4.2.1 亮度4×4块的预测模式 83
4.2.2 亮度16×16块的预测模式 85
4.2.3 色度8×8块的预测模式 85
4.3 HEVC的帧内预测模式 86
4.3.1 帧内预测PU的划分 86
4.3.2 亮度PU的帧内预测模式 87
4.3.3 色度PU的帧内预测模式 89
4.4 HEVC的帧内预测过程 90
4.4.1 参考像素的准备 90
4.4.2 参考像素的平滑滤波 91
4.4.3 计算预测值 94
4.4.4 边界值的平滑 99
4.4.5 模式信息的编码 100
本章参考文献 101
第5章 HEVC的帧间预测 103
5.1 帧间预测编码 103
5.1.1 帧间预测方式 103
5.1.2 基于块的运动估计 105
5.1.3 运动矢量的预测 106
5.2 H.264/AVC的帧间预测 108
5.2.1 多模式宏块划分 108
5.2.2 高精度运动估计 108
5.2.3 双向预测条 110
5.3 HEVC的帧间预测 111
5.3.1 帧间预测PU的划分 111
5.32 子像素插值 113
5.4 HEVC的运动参数编码 116
5.4.1 运动参数的编码传送 116
5.4.2 Merge模式 117
5.4.3 Skip模式 122
5.4.4 Inter模式 122
5.4.5 帧间预测模式的选择 123
本章参考文献 124
第6章 HEVC的变换和量化 126
6.1 变换与量化 126
6.1.1 离散余弦变换和正弦变换 126
6.1.2 量化和量化失真 128
6.2 H.264/AVC的变换与量化 131
6.2.1 4×4整数DCT变换 131
6.2.2 变换系数的量化 132
6.3 HEVC残差的整数变换 135
6.3.1 残差四叉树（RQT） 135
6.3.2 整数DCT变换 136
6.3.3 4×4整数DST变换 138
6.4 HEVC变换系数的量化 139
6.4.1 量化参数和量化步长 140
6.4.2 量化和反量化计算 140
6.4.3 加权量化矩阵 142
6.5 HEVC变换块的编码表示 144
6.5.1 量化后系数的扫描 144
6.5.2 变换系数的表示 146
6.5.3 变换跳过 149
本章参考文献 149
第7章 HEVC的熵编码 151
7.1 熵编码 151
7.1.1 熵编码的要求 151
7.1.2 定长编码 153
7.1.3 变长编码 153
7.2 算术编码 155
7.2.1 一般算术编码 156
7.2.2 自适应算术编码 157
7.2.3 二进制算术编码 158
7.2.4 自适应二进制算术编码 160
7.3 HEVC的算术编码 160
7.3.1 CABAC框架 161
7.3.2 二进制化 162
7.3.3 上下文模型 165
7.3.4 常规编码模式 165
7.3.5 旁路编码模式 170
7.4 上下文建模和更新 171
7.4.1 上下文关系 171
7.4.2 上下文模型的初始化 171
7.4.3 上下文模型的更新 175
本章参考文献 177
第8章 HEVC的环路滤波 178
8.1 环路滤波 178
8.1.1 方块效应的产生 178
8.1.2 环内滤波和环外滤波 180
8.2 H.264/AVC的去方块滤波 181
8.2.1 自适应去方块滤波 181
8.2.2 边界强度测定 182
8.2.3 去方块滤波过程 184
8.3 HVEC的环路滤波 185
8.3.1 自适应去方块滤波 186
8.3.2 样点自适应补偿 186
8.4 HEVC的去方块滤波 187
8.4.1 去方块滤波单元 187
8.4.2 边界强度的判定 188
8.4.3 滤波强度的判定 189
8.4.4 去方块滤波过程 192
8.5 HEVC的样值自适应补偿 194
8.5.1 信号失真及补偿 194
8.5.2 SAO的两种模式 195
8.5.3 带补偿（BO）模式 196
8.5.4 边缘补偿（EO）模式 197
8.5.5 SAO的模式选择和参数共享 200
本章参考文献 202
第9章 HEVC的并行处理 204
9.1 视频编码的并行处理 204
9.1.1 并行处理的主要方式 205
9.1.2 功能并行 206
9.1.3 数据并行 207
9.1.4 流水线并行 207
9.2 HEVC的并行处理工具 209
9.2.1 片并行处理 210
9.2.2 波前并行处理 211
9.3 HEVC的各级并行处理 213
9.3.1 GOP级并行处理 213
9.3.2 图像级并行处理 213
9.3.3 条、片级并行处理 215
9.3.4 块级并行处理 215
9.3.5 指令级并行处理 216
9.4 去方块滤波的并行处理 217
本章参考文献 219
第10章 HEVC的高层语法 221
10.1 HEVC语法特点 221
10.1.1 新增语法结构和元素 222
10.1.2 基本语法表示 224
10.2 H.264/AVC语法提要 226
10.2.1 码流的分层结构 226
10.2.2 NAL单元语法 226
10.2.3 Slice语法 228
10.2.4 参数集 229
10.3 HEVC的NAL单元 230
10.3.1 字节流格式 231
10.3.2 一般NAL单元语法 232
10.3.3 NAL单元头语法 233
10.4 HEVC的接入图像 236
10.4.1 帧内随机接入图像 236
10.4.2 前置图像 238
10.4.3 后置图像 239
10.5 HEVC的参数集 241
10.5.1 三类参数集 241
10.5.2 视频参数集（VPS） 243
10.5.3 序列参数集（SPS） 245
10.5.4 图像参数集（PPS） 245
10.6 HEVC的参考图像集 246
10.6.1 参考图像集 246
10.6.2 参考图像列表 249
10.7 HEVC的SEI和VUI 250
10.7.1 补充增强信息（SEI） 250
10.7.2 视频可用信息（VUI） 251
本章参考文献 253
第11章 HEVC的多层和可分级编码扩展 255
11.1 HEVC编码扩展的进程 256
11.2 HEVC统一的多层编码 257
11.2.1 多层编码的结构 258
11.2.2 多层编码的工具 259
11.3 HEVC的多层扩展 260
11.3.1 层和子层 260
11.3.2 接入单元 260
11.3.3 视频参数集扩展 260
11.4 可分级视频编码 261
11.4.1 常用可分级编码方法 262
11.4.2 H.264/AVC的可分级编码 265
11.5 HEVC的可分级扩展 268
11.5.1 SHVC的编码框架和性能 268
11.5.2 上采样滤波器 270
11.5.3 层间纹理预测 271
11.5.4 层间运动预测 272
11.5.5 SHVC编码一例 273
本章参考文献 273
第12章 HEVC的多视点和3D编码扩展 276
12.1 立体视频编码 276
12.1.1 立体视频和多视点视频 277
12.1.2 立体视频的采集和显示 278
12.1.3 多视点视频编码 280
12.1.4 H.264/AVC的多视点编码 282
12.2 HEVC的多视点扩展 284
12.2.1 MV-HEVC编码系统 285
12.2.2 多视点编码工具 287
12.2.3 虚拟视点的合成 290
12.3 HEVC的3D扩展 292
12.3.1 立体图像的深度图 293
12.3.2 深度图的编码 294
12.3.3 深度图的编码工具 295
本章参考文献 298
第13章 HEVC的实现 300
13.1 HEVC的参考软件HM 300
13.2 HEVC的复杂度 304
13.2.1 功能单元的复杂度 304
13.2.2 HM的编码复杂度 309
13.2.3 HM的解码复杂度 311
13.2.4 和H.264/AVC比较 313
13.3 HEVC编码器的实现考虑 313
13.3.1 软件实现考虑 313
13.3.2 硬件实现考虑 314
13.4 HEVC的解码实验 315
13.4.1 HEVC的测试序列 315
13.4.2 基于ARM的解码 317
13.4.3 基于X86的解码 318
13.4.4 解码性能分析 319
13.5 HEVC的编解码器简例 319
13.5.1 基于DSP的HEVC解码器 320
13.5.2 HEVC解码器芯片 321
13.5.3 HEVC编码器芯片 322
13.5.4 HEVC编码系统 323
本章参考文献 324
缩略语（Abbreviations） 326