第1章 绪论 1
1.1 分布式计算概念 1
1.1.1 定义 1
1.1.2 优缺点 1
1.1.3 经典的分布式计算项目 2
1.2 分布式计算模式 4
1.2.1 单机计算 5
1.2.2 并行计算 5
1.2.3 网络计算 6
1.2.4 对等计算 6
1.2.5 集群计算 7
1.2.6 网格计算 7
1.2.7 云计算 7
1.2.8 雾计算 8
1.2.9 边缘计算 9
1.2.10 大数据计算 9
1.3 CAP定理 11
1.3.1 CAP定理历史 11
1.3.2 CAP定理应用 12
1.3.3 CAP问题的实例 13
习题 14
第2章 分布式计算编程基础 15
2.1 进程间通信 15
2.1.1 进程间通信概念 15
2.1.2 IPC原型与示例 16
2.2 Socket编程 17
2.2.1 Socket概述 17
2.2.2 流式Socket编程 18
2.3 RMI编程 25
2.3.1 RMI概述 25
2.3.2 RMI基本分布式应用 26
2.4 P2P编程 35
习题 44
第3章 云计算原理与技术 47
3.1 云计算概述 47
3.1.1 云计算起源 47
3.1.2 云计算的概念与定义 48
3.1.3 云计算与分布式计算 49
3.1.4 云计算分类 51
3.2 云计算关键技术 54
3.2.1 体系结构 54
3.2.2 数据存储 56
3.2.3 计算模型 58
3.2.4 资源调度 59
3.2.5 虚拟化 60
3.3 Google云计算原理 61
3.3.1 GFS 61
3.3.2 MapReduce 61
3.3.3 BigTable 63
3.3.4 Dremel 66
3.4 亚马逊云服务 69
3.4.1 亚马逊云平台存储架构 69
3.4.2 EC2、S3、SimpleDB等组件 70
3.5 基于亚马逊云的大数据分析案例 76
3.5.1 亚马逊云平台存储架构 76
3.5.2 亚马逊云的Web服务器日志大数据分析案例 79
3.6 阿里云 93
3.6.1 飞天开放平台架构 93
3.6.2 开放云计算服务ECS 96
3.6.3 开放存储服务OSS和CDN 97
3.6.4 开放结构化数据服务OTS 99
3.6.5 关系型数据库（RDS） 101
3.6.6 开放数据处理服务（ODPS） 101
习题 103
第4章 云计算编程实践 104
4.1 CloudSim体系结构和API介绍 104
4.1.1 CloudSim体系结构 104
4.1.2 CloudSim 3.0 API介绍 110
4.2 CloudSim环境搭建和使用方法 113
4.2.1 环境配置 114
4.2.2 运行样例程序 114
4.3 CloudSim扩展编程 117
4.3.1 调度策略的扩展 118
4.3.2 仿真核心代码 120
4.3.3 平台重编译 124
4.4 CloudSim的编程实践 125
4.4.1 CloudSim任务调度编程 125
4.4.2 CloudSim网络编程 132
4.4.3 CloudSim能耗编程 135
4.5 MultiRECloudSim 147
4.5.1 MultiRECloudSim体系结构和原理 147
4.5.2 MultiRECloudSim的API 153
4.5.3 MultiRECloudSim的使用方法 156
4.6 云环境任务调度编程实践 170
4.6.1 云计算的资源管理 170
4.6.2 云任务调度模拟实验 173
习题 180
第5章 云存储技术 182
5.1 存储基础知识 182
5.1.1 存储组网形态 182
5.1.2 RAID 187
5.1.3 磁盘热备 194
5.1.4 快照 195
5.1.5 数据分级存储概念 196
5.2 云存储概念与技术原理 197
5.2.1 分布式存储 198
5.2.2 存储虚拟化 204
5.3 对象存储技术 208
5.3.1 对象存储架构 208
5.3.2 传统块存储与对象存储 209
5.3.3 对象 209
5.3.4 对象存储系统组成 211
5.4 存储技术趋势 213
5.4.1 存储虚拟化 213
5.4.2 固态硬盘 213
5.4.3 重复数据删除 214
5.4.4 语义化检索 214
5.4.5 存储智能化 214
5.4.6 混合存储系统 215
习题 215
第6章 大数据技术原理与平台 216
6.1 大数据概述 216
6.1.1 大数据产生的背景 216
6.1.2 大数据的定义 216
6.1.3 大数据的4V特征 217
6.2 大数据存储平台 217
6.2.1 HDFS 217
6.2.2 HBase 226
6.2.3 Cassandra 237
6.2.4 Redis 245
6.2.5 MongoDB 251
6.3 大数据计算模式 259
6.3.1 MapReduce 259
6.3.2 Spark 264
6.3.3 流式计算 272
6.4 典型大数据分析管理平台 278
6.4.1 Cloudera Impala 279
6.4.2 Hortonworks Data Platform 281
6.4.3 HadoopDB 298
6.5 大数据并行计算编程实践 300
6.5.1 基于MAPREDUCE程序实例（HDFS） 300
6.5.2 基于MAPREDUCE程序实例（HBase） 307
6.5.3 基于Spark的程序实例 311
6.5.4 基于Impala的查询实践 316
6.6 大数据研究与发展方向 318
6.6.1 数据的不确定性与数据质量 318
6.6.2 跨领域的数据处理方法的可移植性 319
6.6.3 数据处理的时效性保证——内存计算 319
6.6.4 对于流式数据的实时处理 320
6.6.5 大数据应用 321
6.6.6 大数据发展趋势 323
习题 324
第7章 实时医疗大数据分析案例 326
7.1 案例背景与需求概述 326
7.1.1 背景介绍 326
7.1.2 基本需求 326
7.2 设计方案 328
7.2.1 ETL 328
7.2.2 非格式化存储 329
7.2.3 流处理 329
7.2.4 训练模型与结果预测 329
7.3 环境准备 329
7.3.1 节 点规划 330
7.3.2 软件选型 331
7.4 实现方法 332
7.4.1 使用Kettle/Sqoop等ETL工具，将数据导入HDFS 332
7.4.2 基于Spark Streaming开发Kafka连接器组件 338
7.4.3 基于Spark MLlib开发数据挖掘组件 345
7.5 不足与扩展 349
习题 350
第8章 保险大数据分析案例 351
8.1 案例背景与需求概述 351
8.1.1 背景介绍 351
8.1.2 基本需求 351
8.2 设计方案 354
8.2.1 基于GraphX的并行家谱挖掘算法 354
8.2.2 基于分片技术的随机森林算法 356
8.2.3 基于内存计算的FP－Growth关联规则挖掘算法 359
8.3 环境准备 360
8.4 实现方法 365
8.4.1 基于GraphX的并行家谱挖掘 365
8.4.2 基于分片技术的随机森林模型用户推荐 367
8.4.3 基于FP－Growth关联规则挖掘算法的回归检验 371
8.4.4 结果可视化 376
8.5 不足与扩展 381
习题 382
第9章 基于Spark聚类算法的网络流量异常检测 383
9.1 基本需求与数据说明 383
9.1.1 基本需求 383
9.1.2 数据说明 384
9.2 设计方案 386
9.2.1 聚类问题描述 386
9.2.2 系统整体架构和算法设计 386
9.2.3 数据预处理 387
9.2.4 聚类算法 388
9.2.5 聚类质量评估算法 388
9.2.6 检测算法 389
9.3 实现方法和程序设计 389
9.3.1 搭建Spark集群实验平台 390
9.3.2 程序运行说明 390
9.3.3 数据预处理 391
9.3.4 基于R的数据分析和可视化 392
9.3.5 聚类算法 394
9.3.6 聚类质量评估 394
9.3.7 异常检测 395
9.4 结果展示 396
9.4.1 Spark平台说明与作业提交演示 396
9.4.2 聚类算法及其质量评估 397
9.4.3 有效性分析 398
9.4.4 示例说明 399
9.5 展望 399
习题 400
第10章 基于Hadoop的宏基因组序列比对计算 401
10.1 相关背景介绍与基本需求 401
10.1.1 相关背景 401
10.1.2 基本需求 404
10.2 设计方案 404
10.2.1 串行程序分析 404
10.2.2 并行程序设计 405
10.3 实现方法 406
10.3.1 自定义Hadoop Streaming Inputformat 406
10.3.2 修改SOAPaligner程序的输入文件函数 408
10.4 环境建立和实验数据说明 410
10.4.1 案例环境 410
10.4.2 实验数据 410
10.5 结果展示 411
10.5.1 测试方法 411
10.5.2 测试结果和分析 412
习题 412
第11章 基于细胞反应大数据的生物效应评估计算 413
11.1 相关背景介绍与基本需求 413
11.1.1 相关背景 413
11.1.2 基本需求 414
11.2 设计方案 414
11.2.1 基本思路 414
11.2.2 设计框架 415
11.3 环境建立和实验数据说明 416
11.3.1 案例环境 416
11.3.2 实验数据 417
11.4 实现方法 418
11.4.1 算法分析 418
11.4.2 基因谱两两比对——富集积分矩阵并行化计算 422
11.4.3 基因谱聚类分析——KMedoids算法并行化 428
11.5 结果展示 429
11.5.1 基因谱两两比对——计算富集积分矩阵实验分析 429
11.5.2 基因谱聚类实验分析 431
习题 432
第12章 基于Spark的海量宏基因组聚类问题分析计算 433
12.1 相关背景介绍与基本需求 433
12.1.1 相关背景 433
12.1.2 基本需求 442
12.2 问题分析与设计方案 444
12.2.1 问题分析 444
12.2.2 设计方案 446
12.3 实现方法 446
12.3.1 基于Spark的相似基因对问题的实现 446
12.3.2 利用LSH加速相似基因对算法 447
12.3.3 基因图的生成 450
12.3.4 图的基本性质分析 451
12.3.5 基因图聚类 451
12.4 环境建立和实验数据说明 454
12.4.1 案例环境 454
12.4.2 实验数据 454
12.5 结果展示 454
12.5.1 LSH方法精确度分析 454
12.5.2 可扩展性分析和加速效果分析 456
12.5.3 基因图顶点的度分布和连通性分析 458
12.5.4 基因图聚类结果分析 459
12.5.5 总结 461
习题 462
参考文献 463