第1章 多媒体通信技术概论 1
1.1多媒体的基本概念 1
1.1.1多媒体及多媒体技术 1
1.1.2多媒体技术的特点 3
1.2多媒体技术的发展历程 4
1.3多媒体通信的特点 4
1.3.1多媒体通信的特点 5
1.3.2多媒体通信终端的特点 5
1.4多媒体通信中的关键技术 5
1.4.1音视频编解码技术 5
1.4.2多媒体网络通信技术 5
1.4.3多媒体存储技术 6
1.4.4多媒体数据库 6
1.5流媒体技术 6
1.6多媒体通信的应用领域 8
习题一 13
第2章 人的听觉感知与声音信号 14
2.1人类的听觉系统 14
2.2人耳的听觉特性 15
2.2.1声强级和响度 15
2.2.2听阈与痛阈 17
2.2.3听觉定律 17
2.2.4人耳的听觉效应 18
2.3声音信号 24
2.3.1人声信号 24
2.3.2音乐信号 26
2.3.3其他声信号 27
2.4.声音质量评价方法 28
2.4.1基于人体的生理反应评价方法 28
2.4.2声品质评价方法简述 29
2.4.3噪声的主观感觉 29
习题二 30
第3章 人的视觉感知与视频信号 31
3.1人的视觉系统 31
3.2人眼视觉特性 33
3.2.1亮度感觉特性 33
3.2.2光敏感特性 33
3.2.3亮度自适应与亮点偏差感知 35
3.2.4空间掩模与时间掩模 36
3.2.5视觉注意机制 36
3.2.6视觉掩蔽效应 37
3.2.7视觉暂留与闪烁 38
3.2.8视觉显著性 39
3.3视频信号 39
3.4电视视频信号的制式 43
3.4.1 NTSC制 43
3.4.2 PAL制 43
3.4.3 SECAM制 44
3.5电视信号原理 44
习题三 53
第4章 色彩与多媒体颜色管理 54
4.1色彩的形成原理和描述方法 54
4.1.1光源、物体和人眼的颜色视觉 54
4.1.2色彩的描述 55
4.2多媒体设备与色彩 56
4.2.1多媒体色彩设备类型 57
4.2.2设备的呈色原理 57
4.2.3设备的颜色表达能力——色域 62
4.3多媒体设备的颜色管理 64
4.3.1色彩管理 64
4.3.2色彩校准 65
4.3.3色彩特征化和ICC特性文件 67
4.3.4色彩转换 67
4.3.5色域映射 68
习题四 72
第5章 语音与音频压缩编码 74
5.1语音与音频编码技术概况 75
5.1.1语音与音频压缩的必要性 75
5.1.2语音与音频压缩的区别 77
5.1.3音频压缩方法 77
5.2语音与音频编码技术 79
5.2.1时域编码 79
5.2.2频带编码 81
5.3目前主流音频压缩编码标准及应用 83
5.3.1 MPE-1 83
5.3.2 MPE-2 84
5.3.3 MPGE-4HE-AAC 91
5.3.4 MPEG通用语音与音频编码算法 92
5.3.5语音频编码的未来发展方向 94
5.4常用的音频信号处理软件 95
5.5.常见的音频格式 97
5.5.1无损压缩的音频编码文件格式 97
5.5.2有损压缩的音频编码文件格式 98
习题五 98
第6章 视频压缩编码：以HEVC为例 100
6.1视频压缩编码概述 100
6.2 HEVC概述 103
6.3 HEVC中的图像分割方式 105
6.4编码单元 107
6.5帧内预测 109
6.5.1帧内预测模式 109
6.5.2帧内预测流程 113
6.6运动估计与运动补偿 114
6.6.1运动估计和运动补偿的基本原理 114
6.6.2影响运动估计的主要因素 115
6.6.3搜索策略 117
6.6.4 HEVC中的运动估计流程 120
6.6.5运动融合 121
6.6.6高级运动矢量预测 123
6.7变换与量化 124
6.7.1离散余弦变换 124
6.7.2量化与量化矩阵 126
6.8HEVC的后处理技术 127
6.8.1去方块滤波 128
6.8.2样点自适应补偿 130
6.8.3自适应环路滤波技术 131
6.9熵编码 132
6.9.1 CAVLC 133
6.9.2 CABAC 133
6.9.3 HEVC标准熵编码过程 135
6.10并行运算优化设计 136
6.11.码率控制 137
6.11.1率失真理论 137
6.11.2码率控制与率失真优化 137
习题六 138
第7章 流媒体传输与控制 139
7.1流媒体技术概况 139
7.1.1流式传输基础 139
7.1.2流媒体播放方式 140
7.1.3流媒体系统基本结构 141
7.2流媒体传输和控制协议 143
7.2.1传输层协议 143
7.2.2实时传输协议RTP 145
7.2.3实时传输控制协议RTCP 147
7.2.4实时流传输协议RTSP 150
7.2.5资源预留协议RSVP 151
7.3基于RTCP反馈的拥塞控制 153
7.3.1拥塞控制的方式 153
7.3.2 RTCP反馈拥塞控制的实现 153
7.4流媒体码流复接 155
7.4.1基本概念 155
7.4.2流程 156
习题七 157
第8章 流媒体同步机制 158
8.1多媒体同步的标准 158
8.2多媒体同步的参考模型 159
8.2.1媒体层 160
8.2.2流层 161
8.2.3对象层 161
8.3典型同步模型 162
8.3.1时间轴模型 162
8.3.2时间间隔模型 162
8.3.3层次模型 163
8.3.4时序Petri网模型 164
8.4网络环境下的流媒体同步 164
8.4.1流媒体同步关系 165
8.4.2流媒体同步的分类 165
8.4.3流媒体同步规范 166
8.4.4多级同步机制 167
8.5影响流媒体同步的关键因素及解决方案 167
8.5.1延时与抖动 167
8.5.2乱序 169
8.6缓冲区容量设置及自适应带宽技术 169
8.6.1自适应带宽技术 169
8.6.2流内同步中缓冲大小设置及自适应带宽技术 170
8.6.3流间同步中缓冲大小设置及自适应带宽技术 172
习题八 173
第9章 异构网络环境中视频处理与传输 174
9.1流媒体技术应用于异构环境主要面临的挑战 174
9.2视频质量自适应概览 175
9.3视频可伸缩编码 176
9.3.1可伸缩性编码概念 176
9.3.2可伸缩视频编码 177
9.4流媒体视频质量自适应技术 182
9.4.1流媒体视频质量自适应技术概况 182
9.4.2采用SVC的流媒体质量自适应技术 183
9.5视频转码 184
9.5.1视频转码器框架结构 184
9.5.2视频转码技术分类介绍 185
9.5.3视觉显著性在视频转码领域的应用 186
习题九 187
第10章 立体视觉与三维电视技术 188
10.1三维电视的发展 188
10.2立体视觉原理 190
10.2.1单眼的视觉的局限性 190
10.2.2双目视觉与深度暗示 190
10.3多视点裸眼3D显示技术 196
10.3.1深度提取算法 197
10.3.2 DIBR算法 198
10.4三维电视技术 198
10.4.1 3DTV系统架构 199
10.4.2 3DTV立体显示技术 200
10.4.3 3DTV系统的3D数据表示 202
10.4.4 3DTV视频编码技术 202
习题十 205
参考文献 206