大数据技术与应用PDF电子书下载

第1篇 理念篇 1

1信息时代背景及大数据基本介绍 1

1.1 信息时代的主要数据源 1

1.1.1 互联网 1

1.1.2 社交网络 1

1.1.3 云计算 2

1.1.4 物联网 3

1.1.5 智能终端 3

1.1.6 信息时代数据增长的特点 3

1.2 大数据及其特点 4

1.2.1 大数据的概念 4

1.2.2 大数据的主要来源 5

1.2.3 大数据的特征 5

1.3 大数据的重要性及其价值 6

1.4 大数据对组织的战略机遇 8

1.4.1 新型战略资源 8

1.4.2 商业洞察能力 8

1.4.3 财务管理新模式 9

1.4.4 营销的革命 10

本章小结 10

思考题 11

2常见大数据源及其应用价值分析 12

2.1 车载信息服务数据 12

2.1.1 车载信息服务的概念 12

2.1.2 车载信息数据的应用价值 13

2.2 位置数据及其价值 14

2.3 RFID数据及其价值 15

2.3.1 什么是RFID 15

2.3.2 RFID数据的应用价值 16

2.4 文本数据 17

2.5 其他大数据源 19

2.5.1 社交网络数据 19

2.5.2 传感器数据 20

2.5.3 智能电网数据 20

2.5.4 遥测数据 21

本章小结 21

思考题 21

3大数据应用的基本策略 22

3.1 大数据的商业应用架构 22

3.1.1 理念共识 22

3.1.2 组织协同 22

3.1.3 技术储备 23

3.2 大数据应用的前期准备 25

3.2.1 制定大数据应用目标 25

3.2.2 大数据采集 28

3.2.3 已有信息系统的优化 28

3.2.4 多系统、多结构数据的规范化 29

3.2.5 大数据收集中的可拓创新方法 30

3.3 大数据分析的基本过程 31

3.3.1 数据准备 31

3.3.2 数据探索 31

3.3.3 模式知识发现 32

3.3.4 预测建模 32

3.3.5 模型评估 32

3.3.6 知识应用 33

3.4 数据仓库的协同应用 33

3.4.1 多维数据结构 33

3.4.2 多维数据的分析操作 34

3.4.3 数据相关性分析和多元回归分析 36

3.5 大数据战略与运营创新 40

本章小结 42

思考题 42

第2篇 技术篇 45

4大数据应用的相关技术 45

4.1 数据收集与预处理技术 45

4.1.1 数据收集技术 45

4.1.2 数据存储技术 49

4.1.3 数据预处理技术 52

4.2 常用数据挖掘方法 55

4.2.1 分类 55

4.2.2 主成分分析 61

4.2.3 聚类分析 64

4.2.4 关联规则 67

4.2.5 时序模式 69

4.2.6 决策树 70

4.2.7 常用的异常数据挖掘方法 73

4.2.8 可拓数据挖掘 74

4.3 半结构化大数据挖掘 77

4.3.1 Web挖掘 77

4.3.2 文本分类挖掘 81

4.4 大数据应用中的智能知识管理 84

4.4.1 大数据应用面临的困难 84

4.4.2 智能知识管理定义与框架 86

4.4.3 智能知识管理的研究和应用现状 88

4.4.4 大数据背景下智能知识管理未来发展方向 88

4.5 大数据处理的开源技术工具 91

4.5.1 数据流处理工具Storm和Kafka 91

4.5.2 查询搜索工具Drill和Dremel 92

4.5.3 开源统计语言R 92

4.5.4 图形分析工具Gremlin和Giraph 92

4.5.5 全内存的分析平台SAP Hana 92

4.5.6 可视化类库D3 92

4.6 知名公司的大数据技术方案 93

本章小结 94

思考题 94

5主要数据挖掘工具及平台简介 95

5.1 数据挖掘工具平台Clementine 95

5.2 SAS （Statistical Analysis System） /EM （Enterprise Miner） 105

5.3 IBM Intelligent Miner 106

5.4 R语言 113

5.5 DistBelief 113

5.6 Hadoop 114

5.7 MapReduce 116

本章小结 116

思考题 117

第3篇 应用篇 118

6成为优秀的大数据分析师 118

6.1 什么是大数据分析师 118

6.2 优秀的大数据分析师具备的素质 119

6.2.1 教育背景 119

6.2.2 行业经验 120

6.2.3 团队合作 120

6.3 优秀分析专家其他特质 121

6.3.1 敬业精神 121

6.3.2 创造力 121

6.3.3 商业头脑 121

6.3.4 文化认同 122

6.3.5 演讲能力与沟通技巧 122

本章小结 123

思考题 123

7大数据应用经典案例 124

7.1 金融行业大数据应用案例 124

7.1.1 中国人民银行征信管理局个人信用评分 124

7.1.2 金融衍生品交易结算风险控制 126

7.1.3 全球经济监测与政策模拟仿真平台 127

7.1.4 网络舆情监控 128

7.2 国外政府大数据应用经典案例 129

7.2.1 美国政府的数据开放策略 129

7.2.2 万维信息触角计划：追踪恐怖分子的“数据脚印” 129

7.2.3 街头警察的数据传奇 130

7.2.4 奥巴马：网络总统的网络整合推广营销 131

7.2.5 流行疾传播预测 133

7.2.6 Data.Gov：数据开放之路 134

7.3 企业大数据应用经典案例 135

7.3.1 电子商务案例 135

7.3.2 市场销售案例 136

7.3.3 物流运输业案例 138

7.3.4 市政领域案例 140

7.3.5 社交网络案例 141

7.3.6 通信业案例 143

7.3.7 金融业案例 143

本章小结 145

思考题 146

8政府工作中的大数据应用 147

8.1 数据与政府职能 147

8.2 大数据应用层面分析 149

8.2.1 医疗与健康 149

8.2.2 数据新闻学 150

8.2.3 社会管理 152

8.2.4 金融业应用 154

8.2.5 零售业应用 155

8.2.6 物联网与智慧城市 155

8.2.7 欺诈检测 158

8.2.8 网络安全 159

本章小结 160

思考题 160

9互联网中的大数据商机 161

9.1 互联网大数据主要来源 161

9.1.1 网络行为的结果数据 161

9.1.2 网络行为的过程数据 162

9.1.3 反馈的结果数据 163

9.2 互联网中的大数据采集 163

9.2.1 Web日志数据采集 163

9.2.2 微博数据采集 165

9.2.3 网络评论数据采集 165

9.3 互联网大数据的应用方向 167

9.3.1 最优的推荐商品 167

9.3.2 流失模型 169

9.3.3 响应模型 170

9.3.4 客户分类 171

9.3.5 理解互联网广告受众 174

9.3.6 广告效果评估 176

9.3.7 网站用户转化率分析 177

9.3.8 电子商务应用 177

9.3.9 移动互联网的大数据应用 181

9.4 互联网大数据的应用目标 182

9.5 互联网与个人隐私保护 182

本章小结 183

思考题 183

10大数据与未来之路 184

10.1 国外大数据战略 184

10.1.1 美国推动大数据技术发展的主要做法 184

10.1.2 日本的大数据战略 185

10.1.3 联合国的大数据行动 185

10.1.4 英国的大数据战略 186

10.2 我国实施国家大数据战略 187

10.2.1 我国实施国家大数据战略的新成效 187

10.2.2 我国实施国家大数据战略面临的挑战 188

10.2.3 更好实施我国大数据战略政策建议 189

10.3 大数据的机遇、挑战与应对 190

10.3.1 大数据机遇 190

10.3.2 大数据挑战及应对 192

10.4 我国的大数据优势及实施策略 193

10.4.1 我国的大数据优势 193

10.4.2 大数据应用体系 194

10.5 大数据行动 196

10.5.1 未来可能的政府行动 196

10.5.2 未来大数据的支持领域 197

10.5.3 大数据公共政策 198

10.6 大数据未来发展的主要领域 199

10.6.1 大数据存储 199

10.6.2 大数据计算 199

10.6.3 数据安全与隐私保护 200

10.6.4 大数据整合技术 200

10.6.5 大数据与云计算 200

本章小结 202

思考题 202

参考文献 203