第一部分 大数据基础理论分析 1
第1章 大数据基本概念 2
1.1 大数据定义 2
1.2 大数据度量 3
1.2.1 大数据能耗度量 3
1.2.2 大数据计算能力度量 4
1.2.3 大数据的数据中心服务能力度量 4
1.2.4 大数据商业与社会价值度量 4
1.2.5 大数据冷热度度量 5
1.3 语意计算的发展过程 5
1.3.1 语义计算（Semantic Computing） 5
1.3.2 语意计算（Semantic＋Computing） 5
1.3.3 语意计算（Semantic＋＋Computing） 6
1.3.4 语意计算和大数据 7
1.4 大数据的语意理解 8
1.4.1 大数据资源语意存储 9
1.4.2 大数据资源语意信息获取 9
1.4.3 语意资源管理 9
1.4.4 大数据语意处理 10
1.4.5 大数据语意服务（语意分析／语意合成等） 10
1.4.6 大数据语意安全与隐私 10
1.4.7 语意接口 10
1.4.8 基于语意的大数据应用 10
1.5 大数据和云计算 11
1.5.1 云计算 11
1.5.2 大数据和云计算的关系 11
本章小结 12
第2章 可编程数据中心 13
2.1 可编程数据中心体系架构 13
2.2 数据分配管理 14
2.2.1 数据分配管理原理 14
2.2.2 数据分配管理案例 17
2.3 异构数据节点分配管理 19
2.3.1 异构数据节点分配管理方法 20
2.3.2 异构数据节点服务能力计算方法 22
2.4 规则管理 23
2.4.1 规则 23
2.4.2 语意规则 24
2.4.3 海量语意规则管理架构 24
2.5 数据放置策略 25
2.5.1 谷歌的数据放置策略 25
2.5.2 Hadoop的数据放置策略 26
2.5.3 其他常用的数据放置策略 26
2.5.4 语意数据放置策略 26
2.6 可编程数据中心机房架构 30
本章小结 30
第3章 云文件系统 32
3.1 常用云文件系统综述 32
3.2 语意云文件系统SCFS 34
3.2.1 SCFS系统架构 34
3.2.2 SCFS大小文件处理机制 36
3.2.3 数据一致性保障 40
3.2.4 元数据集群管理技术 40
3.2.5 副本管理策略（负载均衡机制） 41
本章小结 44
第4章 云数据库系统 45
4.1 常用云数据库系统综述 45
4.2 语意云数据库系统SCloudDB 47
4.2.1 SCloudDB系统架构 47
4.2.2 SCloudDB设计思路 48
4.2.3 SCloudDB的SRegion定位机制 50
4.2.4 多维及海量随机查询机制 51
4.2.5 支持多维及海量随机查询的语意搜索机制 52
4.2.6 大表划分方法 54
4.2.7 基于列族存储及语意的大表划分机制 56
4.2.8 分布式同步关键技术 57
本章小结 59
第5章 大数据并行编程与分析模型 60
5.1 大数据并行编程与分析模型综述 60
5.2 大数据并行编程与分析模型SemanMR 63
5.2.1 SemanMR体系架构 63
5.2.2 SemanMR技术思路 64
5.3 SemanMR关键技术 66
5.3.1 基于语意的调度器关键技术 66
5.3.2 SemanMR的作业／任务状态交互新规则 68
5.3.3 语意映射器关键技术 69
5.3.4 基于语意的作业调度器关键技术 70
5.3.5 基于语意的任务调度器关键技术 73
5.3.6 任务跟踪器关键技术 76
5.4 SemanMR计算部分框架 78
5.5 SemanMR原理分析 82
5.5.1 SemanMR原理实现分析 82
5.5.2 SemanMR实现原理特点分析 84
5.6 基于SemanMR的大数据实时处理与分析实现技术 88
5.6.1 SemanMR实时架构 88
5.6.2 SemanMR的MapReduce网络优化技术 89
本章小结 94
第6章 大数据智能计算算法 95
6.1 大数据智能计算算法架构 95
6.2 数据采集算法 95
6.2.1 管理信息系统数据采集 96
6.2.2 网络信息数据采集 96
6.2.3 物理信息数据采集 96
6.3 数据预处理算法 97
6.4 数据挖掘算法 99
6.4.1 分类算法 99
6.4.2 聚类算法 100
6.4.3 关联挖掘算法 101
6.4.4 推荐算法 101
6.5 复杂智能算法 103
6.5.1 大数据溯源算法 103
6.5.2 大数据的相关推荐算法 105
6.5.3 基于大数据的决策管理算法 105
6.5.4 基于模型的推理及预测算法 106
6.5.5 基于数据的推理及预测算法 107
6.5.6 基于规则的推理及预测算法 109
6.5.7 混合推理及预测算法 109
本章小结 109
第7章 基于大数据的数据仓库技术 110
7.1 Facebook中Hive采用的技术思路与存在问题分析 110
7.1.1 Hive采用的技术思路分析 110
7.1.2 Hive存在的问题分析 111
7.2 Yahoo！中Pig采用的技术思路与存在问题分析 111
7.2.1 Pig采用的技术思路分析 111
7.2.2 Pig存在的问题分析 112
7.3 未来数据仓库架构需求分析 113
7.4 一种基于大数据的数据仓库SemanDW 114
本章小结 114
第8章 大数据安全与隐私保护 115
8.1 大数据安全模型BigData-PKI 115
8.1.1 大数据安全体系结构 115
8.1.2 大数据安全模型BigData-PKI 116
8.2 大数据安全协议BigData-Protocol 118
8.3 大数据隐私 120
8.4 大数据的隐私提取方法 121
8.4.1 大数据的直接隐私提取方法 121
8.4.2 大数据的间接隐私提取方法 121
8.5 大数据隐私保护模型BigData-Privacy 122
8.6 大数据共享信息与隐私信息融合技术 122
8.6.1 大数据的共享信息与隐私信息融合机制 123
8.6.2 大数据的共享信息与隐私信息融合算法 123
8.6.3 大数据的共享信息与隐私信息融合质量评价模型 123
8.7 云环境下医疗大数据安全和隐私保护示范 125
8.7.1 云环境下大数据安全和隐私保护架构 125
8.7.2 数据分割及安全机制 127
8.7.3 数据融合及安全机制 129
8.7.4 基于隐私数据的查询机制 130
8.7.5 数据完整性保障机制 131
8.8 海量电子病历安全保护应用 133
本章小结 134
第9章 基于大数据的语意软件工程方法 135
9.1 基于大数据的语意软件工程体系架构 136
9.2 基于大数据的语意软件编制 136
9.2.1 基于大数据的语意软件编制方法 136
9.2.2 基于大数据的语意软件编制方法设计思路 137
9.2.3 复杂的SemanPL程序编程实现原理分析 138
9.2.4 基于大数据的语意编程语言SemanPL 139
9.2.5 SemanPL编译器原理分析 141
9.3 基于大数据的语意软件测试 143
9.4 基于大数据的语意软件验证 143
9.5 基于大数据的语意软件工程方法的语意软件系统应用 144
本章小结 144
第二部分 基于海量语意规则的大数据流处理技术 145
第10章 基于规则的大数据流处理介绍 147
10.1 基于规则的大数据流 147
10.1.1 基于规则的大数据流应用背景 147
10.1.2 基于规则的大数据流应用意义 148
10.2 大数据流的规则处理技术国内外研究现状 149
10.3 存在的问题总结与分析 153
本章小结 154
第11章 语意规则描述模型 155
11.1 规则表示方法 155
11.2 规则节点图形化符号表示模型 155
11.2.1 非计算规则节点 156
11.2.2 计算规则节点 156
11.3 规则粒度 158
11.4 规则节点流量分析 159
11.5 计算规则节点计算代价分析 163
本章小结 167
第12章 海量语意规则网及优化 168
12.1 海量语意规则网概述 168
12.2 海量语意规则网维护 169
12.2.1 海量语意规则网增量集成 169
12.2.2 删除规则节点时的规则网维护 170
12.3 海量语意规则网优化方法 171
12.3.1 基于规则合并的优化方法 171
12.3.2 规则模块等价变换的优化方法 173
本章小结 183
第13章 海量语意规则处理算法 184
13.1 传统规则处理算法存在的问题 184
13.2 海量语意规则模式匹配模型 185
13.2.1 海量语意规则模式匹配模型体系结构 185
13.2.2 概念与介绍 186
13.2.3 模式网络存储组织 186
13.2.4 海量语意规则模式匹配算法 188
13.3 海量语意规则模式匹配算法特点 195
13.4 海量语意规则网运行处理机制 195
本章小结 198
第14章 海量语意规则并行处理 199
14.1 海量语意规则并行处理面临的问题 199
14.2 海量语意规则并行处理机制 200
14.2.1 海量语意规则并行处理机制GAPCM概述 200
14.2.2 海量语意规则子网生成 201
14.2.3 海量语意规则网计算代价预分配 202
14.2.4 海量语意规则网通信 219
14.2.5 映射分配 220
本章小结 221
第三部分 大数据应用 223
第15章 文化大数据 224
15.1 文化大数据的意义 224
15.2 文化大数据关键技术平台架构 225
15.3 文化大数据资源层 226
15.4 文化大数据综合平台层 227
15.5 基于文化大数据的应用 228
15.6 文化大数据云管理系统 232
本章小结 234
第16章 医疗健康大数据 235
16.1 医疗健康大数据 235
16.2 医疗健康大数据平台架构 235
16.3 医疗健康大数据共享平台 237
16.3.1 集中式医疗健康大数据共享平台 237
16.3.2 分散式医疗健康大数据共享平台 238
16.4 医疗健康大数据分散式架构资源集成方法 239
16.5 医疗健康大数据数据安全保护机制 241
16.6 医疗健康大数据隐私保护机制 241
16.7 医疗健康大数据挖掘与分析 242
16.8 基于可穿戴设备的居家医疗养老大数据分析系统 243
16.9 医疗健康大数据其他典型应用 244
本章小结 245
第17章 互联网金融大数据 246
17.1 互联网金融 246
17.1.1 互联网金融的概念 246
17.1.2 互联网金融的产生 246
17.1.3 互联网金融分类 247
17.1.4 互联网金融发展历程 248
17.1.5 互联网金融发展阶段 251
17.1.6 互联网金融发展趋势 252
17.2 大数据金融 253
17.3 金融大数据架构 254
17.3.1 金融大数据数据源 255
17.3.2 数据采集／清洗／转换 255
17.3.3 金融大数据存储 255
17.3.4 各种金融模型 256
17.3.5 各种大数据挖掘分析算法 257
17.3.6 各种大数据并行编程模型 257
17.3.7 各种大数据金融应用 257
17.4 大数据金融案例 257
本章小结 258
第18章 其他典型大数据 259
18.1 教育大数据 259
18.1.1 教育大数据平台架构 259
18.1.2 基于大数据的教育社区学生／教师个性化服务 261
18.1.3 基于大数据的教育社区学生行为建模与分析 262
18.1.4 基于大数据的教育社区教学规律分析 262
18.1.5 基于大数据的教育社区个性化教学 262
18.1.6 基于教育大数据的语意问答系统 262
18.2 电子商务大数据 263
18.2.1 电子商务大数据平台架构 263
18.2.2 电子商务虚假图片监测 265
18.2.3 电子商务产品个性化推荐 265
18.2.4 基于电子商务大数据的消费者行为分析 266
18.2.5 基于电子商务大数据的物流 266
18.2.6 电子商务实时大数据流规则处理 266
18.2.7 电子商务评估管理系统 267
18.3 互联网大数据 267
18.3.1 互联网大数据平台架构 267
18.3.2 互联网热点计算 268
18.3.3 互联网热点个性化推荐 268
18.3.4 互联网舆情监测 268
18.3.5 互联网热点趋势分析预测 269
18.3.6 互联网舆情预警应用 269
18.3.7 大型网络软件平台的数据采集与分析方案 269
18.4 能源大数据 272
18.4.1 石油大数据 272
18.4.2 智能电网大数据 275
18.5 交通大数据 276
18.6 宏观经济大数据 278
18.7 进出口食品安全监管大数据 280
18.7.1 基于大数据的进出口食品安全监管系统总体架构 280
18.7.2 基于大数据的进出口食品安全监测分析 280
18.7.3 基于海量语意规则的进出口食品社会应急分析 281
18.7.4 基于大数据的进出口食品溯源分析 282
18.7.5 基于大数据的进出口食品安全决策 283
本章小结 283
第19章 基于大数据的语意计算及典型应用 284
19.1 基于大数据的应用领域分析 284
19.1.1 基于大数据的社交网络领域应用分析 284
19.1.2 基于大数据的医疗领域应用分析 285
19.1.3 基于大数据的政府领域应用分析 287
19.1.4 基于大数据的金融领域应用分析 289
19.1.5 基于大数据的企业计算应用分析 290
19.2 语意搜索引擎 291
19.2.1 传统搜索引擎 292
19.2.2 语义搜索引擎（Semantic Search Engine） 293
19.2.3 语意搜索引擎（Semantic＋SearchEngine） 293
19.2.4 语意搜索引擎（Semantic＋＋Search Engine） 295
19.3 语意金融 296
19.4 语意旅游 296
19.5 语意电子商务 297
19.5.1 案例概述 297
19.5.2 校园社区网规则举例 298
19.5.3 优化的带流量的规则网 302
19.5.4 未经优化的带流量的规则网优化 302
19.5.5 规则网络代价计算 305
19.5.6 规则网络任务划分 306
19.5.7 规则子网划分 308
本章小结 310
第20章 大数据未来研究方向 311
参考文献 315