大数据背后的核心技术PDF电子书下载

第一部分 大数据基础理论分析 1

第1章 大数据基本概念 2

1.1 大数据定义 2

1.2 大数据度量 3

1.2.1 大数据能耗度量 3

1.2.2 大数据计算能力度量 4

1.2.3 大数据的数据中心服务能力度量 4

1.2.4 大数据商业与社会价值度量 4

1.2.5 大数据冷热度度量 5

1.3 语意计算的发展过程 5

1.3.1 语义计算（Semantic Computing） 5

1.3.2 语意计算（Semantic＋Computing） 5

1.3.3 语意计算（Semantic＋＋Computing） 6

1.3.4 语意计算和大数据 7

1.4 大数据的语意理解 8

1.4.1 大数据资源语意存储 9

1.4.2 大数据资源语意信息获取 9

1.4.3 语意资源管理 9

1.4.4 大数据语意处理 10

1.4.5 大数据语意服务（语意分析／语意合成等） 10

1.4.6 大数据语意安全与隐私 10

1.4.7 语意接口 10

1.4.8 基于语意的大数据应用 10

1.5 大数据和云计算 11

1.5.1 云计算 11

1.5.2 大数据和云计算的关系 11

本章小结 12

第2章 可编程数据中心 13

2.1 可编程数据中心体系架构 13

2.2 数据分配管理 14

2.2.1 数据分配管理原理 14

2.2.2 数据分配管理案例 17

2.3 异构数据节点分配管理 19

2.3.1 异构数据节点分配管理方法 20

2.3.2 异构数据节点服务能力计算方法 22

2.4 规则管理 23

2.4.1 规则 23

2.4.2 语意规则 24

2.4.3 海量语意规则管理架构 24

2.5 数据放置策略 25

2.5.1 谷歌的数据放置策略 25

2.5.2 Hadoop的数据放置策略 26

2.5.3 其他常用的数据放置策略 26

2.5.4 语意数据放置策略 26

2.6 可编程数据中心机房架构 30

本章小结 30

第3章 云文件系统 32

3.1 常用云文件系统综述 32

3.2 语意云文件系统SCFS 34

3.2.1 SCFS系统架构 34

3.2.2 SCFS大小文件处理机制 36

3.2.3 数据一致性保障 40

3.2.4 元数据集群管理技术 40

3.2.5 副本管理策略（负载均衡机制） 41

本章小结 44

第4章 云数据库系统 45

4.1 常用云数据库系统综述 45

4.2 语意云数据库系统SCloudDB 47

4.2.1 SCloudDB系统架构 47

4.2.2 SCloudDB设计思路 48

4.2.3 SCloudDB的SRegion定位机制 50

4.2.4 多维及海量随机查询机制 51

4.2.5 支持多维及海量随机查询的语意搜索机制 52

4.2.6 大表划分方法 54

4.2.7 基于列族存储及语意的大表划分机制 56

4.2.8 分布式同步关键技术 57

本章小结 59

第5章 大数据并行编程与分析模型 60

5.1 大数据并行编程与分析模型综述 60

5.2 大数据并行编程与分析模型SemanMR 63

5.2.1 SemanMR体系架构 63

5.2.2 SemanMR技术思路 64

5.3 SemanMR关键技术 66

5.3.1 基于语意的调度器关键技术 66

5.3.2 SemanMR的作业／任务状态交互新规则 68

5.3.3 语意映射器关键技术 69

5.3.4 基于语意的作业调度器关键技术 70

5.3.5 基于语意的任务调度器关键技术 73

5.3.6 任务跟踪器关键技术 76

5.4 SemanMR计算部分框架 78

5.5 SemanMR原理分析 82

5.5.1 SemanMR原理实现分析 82

5.5.2 SemanMR实现原理特点分析 84

5.6 基于SemanMR的大数据实时处理与分析实现技术 88

5.6.1 SemanMR实时架构 88

5.6.2 SemanMR的MapReduce网络优化技术 89

本章小结 94

第6章 大数据智能计算算法 95

6.1 大数据智能计算算法架构 95

6.2 数据采集算法 95

6.2.1 管理信息系统数据采集 96

6.2.2 网络信息数据采集 96

6.2.3 物理信息数据采集 96

6.3 数据预处理算法 97

6.4 数据挖掘算法 99

6.4.1 分类算法 99

6.4.2 聚类算法 100

6.4.3 关联挖掘算法 101

6.4.4 推荐算法 101

6.5 复杂智能算法 103

6.5.1 大数据溯源算法 103

6.5.2 大数据的相关推荐算法 105

6.5.3 基于大数据的决策管理算法 105

6.5.4 基于模型的推理及预测算法 106

6.5.5 基于数据的推理及预测算法 107

6.5.6 基于规则的推理及预测算法 109

6.5.7 混合推理及预测算法 109

本章小结 109

第7章 基于大数据的数据仓库技术 110

7.1 Facebook中Hive采用的技术思路与存在问题分析 110

7.1.1 Hive采用的技术思路分析 110

7.1.2 Hive存在的问题分析 111

7.2 Yahoo！中Pig采用的技术思路与存在问题分析 111

7.2.1 Pig采用的技术思路分析 111

7.2.2 Pig存在的问题分析 112

7.3 未来数据仓库架构需求分析 113

7.4 一种基于大数据的数据仓库SemanDW 114

本章小结 114

第8章 大数据安全与隐私保护 115

8.1 大数据安全模型BigData-PKI 115

8.1.1 大数据安全体系结构 115

8.1.2 大数据安全模型BigData-PKI 116

8.2 大数据安全协议BigData-Protocol 118

8.3 大数据隐私 120

8.4 大数据的隐私提取方法 121

8.4.1 大数据的直接隐私提取方法 121

8.4.2 大数据的间接隐私提取方法 121

8.5 大数据隐私保护模型BigData-Privacy 122

8.6 大数据共享信息与隐私信息融合技术 122

8.6.1 大数据的共享信息与隐私信息融合机制 123

8.6.2 大数据的共享信息与隐私信息融合算法 123

8.6.3 大数据的共享信息与隐私信息融合质量评价模型 123

8.7 云环境下医疗大数据安全和隐私保护示范 125

8.7.1 云环境下大数据安全和隐私保护架构 125

8.7.2 数据分割及安全机制 127

8.7.3 数据融合及安全机制 129

8.7.4 基于隐私数据的查询机制 130

8.7.5 数据完整性保障机制 131

8.8 海量电子病历安全保护应用 133

本章小结 134

第9章 基于大数据的语意软件工程方法 135

9.1 基于大数据的语意软件工程体系架构 136

9.2 基于大数据的语意软件编制 136

9.2.1 基于大数据的语意软件编制方法 136

9.2.2 基于大数据的语意软件编制方法设计思路 137

9.2.3 复杂的SemanPL程序编程实现原理分析 138

9.2.4 基于大数据的语意编程语言SemanPL 139

9.2.5 SemanPL编译器原理分析 141

9.3 基于大数据的语意软件测试 143

9.4 基于大数据的语意软件验证 143

9.5 基于大数据的语意软件工程方法的语意软件系统应用 144

本章小结 144

第二部分 基于海量语意规则的大数据流处理技术 145

第10章 基于规则的大数据流处理介绍 147

10.1 基于规则的大数据流 147

10.1.1 基于规则的大数据流应用背景 147

10.1.2 基于规则的大数据流应用意义 148

10.2 大数据流的规则处理技术国内外研究现状 149

10.3 存在的问题总结与分析 153

本章小结 154

第11章 语意规则描述模型 155

11.1 规则表示方法 155

11.2 规则节点图形化符号表示模型 155

11.2.1 非计算规则节点 156

11.2.2 计算规则节点 156

11.3 规则粒度 158

11.4 规则节点流量分析 159

11.5 计算规则节点计算代价分析 163

本章小结 167

第12章 海量语意规则网及优化 168

12.1 海量语意规则网概述 168

12.2 海量语意规则网维护 169

12.2.1 海量语意规则网增量集成 169

12.2.2 删除规则节点时的规则网维护 170

12.3 海量语意规则网优化方法 171

12.3.1 基于规则合并的优化方法 171

12.3.2 规则模块等价变换的优化方法 173

本章小结 183

第13章 海量语意规则处理算法 184

13.1 传统规则处理算法存在的问题 184

13.2 海量语意规则模式匹配模型 185

13.2.1 海量语意规则模式匹配模型体系结构 185

13.2.2 概念与介绍 186

13.2.3 模式网络存储组织 186

13.2.4 海量语意规则模式匹配算法 188

13.3 海量语意规则模式匹配算法特点 195

13.4 海量语意规则网运行处理机制 195

本章小结 198

第14章 海量语意规则并行处理 199

14.1 海量语意规则并行处理面临的问题 199

14.2 海量语意规则并行处理机制 200

14.2.1 海量语意规则并行处理机制GAPCM概述 200

14.2.2 海量语意规则子网生成 201

14.2.3 海量语意规则网计算代价预分配 202

14.2.4 海量语意规则网通信 219

14.2.5 映射分配 220

本章小结 221

第三部分 大数据应用 223

第15章 文化大数据 224

15.1 文化大数据的意义 224

15.2 文化大数据关键技术平台架构 225

15.3 文化大数据资源层 226

15.4 文化大数据综合平台层 227

15.5 基于文化大数据的应用 228

15.6 文化大数据云管理系统 232

本章小结 234

第16章 医疗健康大数据 235

16.1 医疗健康大数据 235

16.2 医疗健康大数据平台架构 235

16.3 医疗健康大数据共享平台 237

16.3.1 集中式医疗健康大数据共享平台 237

16.3.2 分散式医疗健康大数据共享平台 238

16.4 医疗健康大数据分散式架构资源集成方法 239

16.5 医疗健康大数据数据安全保护机制 241

16.6 医疗健康大数据隐私保护机制 241

16.7 医疗健康大数据挖掘与分析 242

16.8 基于可穿戴设备的居家医疗养老大数据分析系统 243

16.9 医疗健康大数据其他典型应用 244

本章小结 245

第17章 互联网金融大数据 246

17.1 互联网金融 246

17.1.1 互联网金融的概念 246

17.1.2 互联网金融的产生 246

17.1.3 互联网金融分类 247

17.1.4 互联网金融发展历程 248

17.1.5 互联网金融发展阶段 251

17.1.6 互联网金融发展趋势 252

17.2 大数据金融 253

17.3 金融大数据架构 254

17.3.1 金融大数据数据源 255

17.3.2 数据采集／清洗／转换 255

17.3.3 金融大数据存储 255

17.3.4 各种金融模型 256

17.3.5 各种大数据挖掘分析算法 257

17.3.6 各种大数据并行编程模型 257

17.3.7 各种大数据金融应用 257

17.4 大数据金融案例 257

本章小结 258

第18章 其他典型大数据 259

18.1 教育大数据 259

18.1.1 教育大数据平台架构 259

18.1.2 基于大数据的教育社区学生／教师个性化服务 261

18.1.3 基于大数据的教育社区学生行为建模与分析 262

18.1.4 基于大数据的教育社区教学规律分析 262

18.1.5 基于大数据的教育社区个性化教学 262

18.1.6 基于教育大数据的语意问答系统 262

18.2 电子商务大数据 263

18.2.1 电子商务大数据平台架构 263

18.2.2 电子商务虚假图片监测 265

18.2.3 电子商务产品个性化推荐 265

18.2.4 基于电子商务大数据的消费者行为分析 266

18.2.5 基于电子商务大数据的物流 266

18.2.6 电子商务实时大数据流规则处理 266

18.2.7 电子商务评估管理系统 267

18.3 互联网大数据 267

18.3.1 互联网大数据平台架构 267

18.3.2 互联网热点计算 268

18.3.3 互联网热点个性化推荐 268

18.3.4 互联网舆情监测 268

18.3.5 互联网热点趋势分析预测 269

18.3.6 互联网舆情预警应用 269

18.3.7 大型网络软件平台的数据采集与分析方案 269

18.4 能源大数据 272

18.4.1 石油大数据 272

18.4.2 智能电网大数据 275

18.5 交通大数据 276

18.6 宏观经济大数据 278

18.7 进出口食品安全监管大数据 280

18.7.1 基于大数据的进出口食品安全监管系统总体架构 280

18.7.2 基于大数据的进出口食品安全监测分析 280

18.7.3 基于海量语意规则的进出口食品社会应急分析 281

18.7.4 基于大数据的进出口食品溯源分析 282

18.7.5 基于大数据的进出口食品安全决策 283

本章小结 283

第19章 基于大数据的语意计算及典型应用 284

19.1 基于大数据的应用领域分析 284

19.1.1 基于大数据的社交网络领域应用分析 284

19.1.2 基于大数据的医疗领域应用分析 285

19.1.3 基于大数据的政府领域应用分析 287

19.1.4 基于大数据的金融领域应用分析 289

19.1.5 基于大数据的企业计算应用分析 290

19.2 语意搜索引擎 291

19.2.1 传统搜索引擎 292

19.2.2 语义搜索引擎（Semantic Search Engine） 293

19.2.3 语意搜索引擎（Semantic＋SearchEngine） 293

19.2.4 语意搜索引擎（Semantic＋＋Search Engine） 295

19.3 语意金融 296

19.4 语意旅游 296

19.5 语意电子商务 297

19.5.1 案例概述 297

19.5.2 校园社区网规则举例 298

19.5.3 优化的带流量的规则网 302

19.5.4 未经优化的带流量的规则网优化 302

19.5.5 规则网络代价计算 305

19.5.6 规则网络任务划分 306

19.5.7 规则子网划分 308

本章小结 310

第20章 大数据未来研究方向 311

参考文献 315