第1篇 有声图像——图像中的声音 3
第1章 概述 3
1.1 缓慢的创新 3
1.2 图像和视频之间的新媒介——有声图像 5
1.3 开放式的研究精神 6
1.4 对如何阅读本书的建议 9
参考资料 11
第2章 环境声音图像 15
2.1 对环境声音的早期研究工作 15
2.2 关于图像与环境声音的实验 17
2.3 捕捉环境声音图像 19
2.3.1 环境声音类型 19
2.3.2 关于音延 21
2.3.3 图像与声音的关联性 23
2.3.4 沉默的图像 26
2.3.5 孤立的声音片段 26
2.4 “音频相机”和“有声图像”的实验反馈 27
2.4.1 最初的实验反馈 27
2.4.2 用户偏好的作品 30
2.4.3 环境声音的价值 33
2.5 环境声音实验全过程 37
2.5.1 声音捕捉 37
2.5.2 声音编辑 38
2.5.3 回放与评价 39
2.5.4 音频相机与摄像机的比较 42
2.6 实验群体讨论 44
2.6.1 环境声音在图像评价中的角色 45
2.6.2 环境声音在社交互动中的角色 46
参考资料 47
第3章 音乐图像 50
3.1 音乐图像的早期探索 50
3.2 音乐诠释实验整体描述 56
3.2.1 音乐实验参与者 56
3.2.2 家庭访问 57
3.2.3 自己创作音乐图像专辑 58
3.2.4 反馈组 58
3.3 捕捉音乐图像 60
3.3.1 音乐类型 60
3.3.2 音延 63
3.3.3 图像中的音乐联想 64
3.4 关于图像的音乐注释的实验反馈 65
3.4.1 最初的实验反馈 65
3.4.2 最受欢迎的作品 68
3.4.3 图像中音乐的价值 70
3.5 音乐图像的实践环节 73
3.5.1 获取音乐 74
3.5.2 编辑音乐 75
3.5.3 回放与评价 75
3.5.4 对比家庭摄像机 78
3.6 实验群体讨论 78
3.6.1 音乐在图像评价中的角色 80
3.6.2 音乐在社交互动中的角色 81
参考资料 81
第4章 画外音图像 85
4.1 图像叙述的早期探索 85
4.2 音频注释实验整体描述 88
4.3 获取画外音图像 88
4.3.1 画外音类型 89
4.3.2 画外音时间长度 93
4.3.3 画外音与图像的相关性 95
4.4 关于画外音图像的实验反馈 96
4.4.1 最初的实验反馈 96
4.4.2 最受欢迎的作品 98
4.4.3 画外音的价值 99
4.5 画外音图像的实践环节 101
4.5.1 录制画外音 101
4.5.2 后期编辑 103
4.5.3 回放与评价 103
4.6 实验群体讨论 104
4.6.1 画外音在图像评价中的角色 105
4.6.2 画外音在社交互动中的角色 106
参考资料 107
第5章 谈话图像与故事叙述 111
5.1 谈话式故事叙述 111
5.2 关于图像-谈话的实验 117
5.3 图像分享对话的背景特征 118
5.4 图像-谈话的内容与动态变化 120
5.5 图像-谈话的实验新发现 129
5.6 故事叙述型图像的研究 131
5.7 故事叙述型图像的获取 132
5.8 实验参与者反馈 134
5.8.1 最受欢迎的作品 134
5.8.2 故事叙述型谈话的价值 138
5.9 故事叙述型图像的研究总结 142
5.10 实验群体讨论 143
5.10.1 谈话在图像评价中的角色 144
5.10.2 谈话在社交互动中的角色 145
参考资料 146
第6章 纸张对阵屏幕 151
6.1 相关的前期研究工作 151
6.1.1 阅读方式的未来 151
6.1.2 设计的“有形性” 153
6.1.3 有声图像应用程序 155
6.1.4 实验方法的设计 156
6.2 环境声图像的媒介播放 157
6.3 环境声图像输出的结果分析 160
6.3.1 整体上的用户偏好 160
6.3.2 输出设备的反馈意见 161
6.3.3 实验总结 168
6.4 音乐图像与画外音图像的媒介播放 169
6.5 音乐图像与画外音图像的输出结果分析 172
6.5.1 输出形式整体偏好 172
6.5.2 输出设备的反馈意见 173
6.5.3 输出方式总结 177
6.6 关于实验的讨论 178
参考资料 182
第2篇 十年后有声图像新技术与观念 188
第7章 惠普实验室的图像-声音研究 188
7.1 介绍 188
7.2 对惠普开发工作的影响 189
7.3 对惠普研究工作的影响 192
7.4 讨论 202
参考资料 206
第8章 研究的外延 210
8.1 不同领域的映射与延展 210
8.2 有声图像信息服务 213
8.3 有声图像的叙事手法 214
8.4 摄影中的音频背景 219
8.5 声音记忆 223
8.6 音频纸张 229
8.7 音频手工艺品 233
8.8 研究策略之间的跨界联结 238
参考资料 241
第9章 产品开发的外部延展 251
9.1 新产品设计的空间 251
9.2 具有音频功能的相机和摄像机 253
9.3 音频相机应用程序 254
9.4 有声图像叙事应用程序 258
9.5 有声印刷的新产品 262
9.6 讨论 267
参考资料 269
第10章 十年研究的经验之谈 270
10.1 介绍 270
10.2 关于有声图像研究的经验与教训 271
10.3 技术创新的经验 274
10.4 快速设计，缓慢创新 279
10.5 研究与现实之间的鸿沟 281
10.6 慢速设计，加速创新 282
10.7 总结 285
参考资料 287