大数据导论PDF电子书下载

第1章 大数据与大数据时代 1

1.1 什么是大数据 2

1.1.1 天文学——信息爆炸的起源 3

1.1.2 大数据的定义 6

1.1.3 用3V描述大数据特征 7

1.1.4 广义的大数据 9

1.2 大数据变革思维 9

1.3 大数据的结构类型 10

1.4 大数据的发展 11

1.4.1 硬件性价比提高与软件技术进步 11

1.4.2 云计算的普及 12

1.4.3 大数据作为BI的进化形式 12

1.4.4 从交易数据分析到交互数据分析 13

第2章 大数据的可视化 19

2.1 数据与可视化 21

2.1.1 数据的可变性 22

2.1.2 数据的不确定性 23

2.1.3 数据所依存的背景信息 24

2.1.4 打造最好的可视化效果 25

2.2 数据与图形 25

2.2.1 数据与走势 26

2.2.2 视觉信息的科学解释 28

2.2.3 图片和分享的力量 29

2.3 公共数据集 30

2.4 实时可视化 31

2.5 挑战图像的多变性 32

2.6 数据可视化的运用 33

2.6.1 可视化对认知的帮助 34

2.6.2 7个数据类型 35

2.6.3 7个基本任务 36

2.6.4 数据可视化的挑战 38

第3章 大数据的商业规则 45

3.1 大数据的跨界年度 46

3.2 谷歌的大数据行动 47

3.3 亚马逊的大数据行动 49

3.4 将信息变成一种竞争优势 50

3.4.1 数据价格下降，数据需求上升 51

3.4.2 大数据应用程序的兴起 52

3.4.3 实时响应，大数据用户的新要求 53

3.4.4 企业构建大数据战略 53

3.5 大数据营销 54

3.5.1 像媒体公司一样思考 54

3.5.2 营销面对新的机遇与挑战 55

3.5.3 自动化营销 56

3.5.4 为营销创建高容量和高价值的内容 57

3.5.5 内容营销 57

3.5.6 内容创作与众包 58

3.5.7 用投资回报率评价营销效果 59

第4章 大数据时代的思维变革 65

4.1 大数据时代的大挑战 67

4.2 转变之一：样本＝总体 68

4.2.1 小数据时代的随机采样 68

4.2.2 大数据与乔布斯的癌症治疗 71

4.2.3 全数据模式：样本＝总体 72

4.3 转变之二：接受数据的混杂性 74

4.3.1 允许不精确 74

4.3.2 大数据的简单算法与小数据的复杂算法 76

4.3.3 纷繁的数据越多越好 77

4.3.4 混杂性是标准途径 78

4.3.5 新的数据库设计 79

4.3.6 5％的数字数据与95％的非结构化数据 81

4.4 转变之三：数据的相关关系 81

4.4.1 关联物，预测的关键 81

4.4.2 “是什么”，而不是“为什么” 84

4.4.3 通过因果关系了解世界 84

4.4.4 通过相关关系了解世界 86

第5章 大数据促进医疗与健康 93

5.1 大数据与循证医学 95

5.2 大数据带来的医疗新突破 96

5.2.1 量化自我，关注个人健康 97

5.2.2 可穿戴的个人健康设备 98

5.2.3 大数据时代的医疗信息 99

5.2.4 CellMiner——对抗癌症的新工具 100

5.3 医疗信息数字化 102

5.4 搜索：超级大数据的最佳伙伴 104

5.5 数据决策的成功崛起 105

5.5.1 数据辅助诊断 106

5.5.2 你考虑过……了吗 106

5.5.3 大数据分析使数据决策崛起 107

第6章 大数据激发创造力 112

6.1 大数据帮助改善设计 114

6.1.1 少而精是设计的核心 115

6.1.2 与玩家共同设计游戏 116

6.1.3 以人为本的汽车设计理念 116

6.1.4 寻找最佳音响效果 118

6.1.5 建筑，数据取代直觉 119

6.2 大数据操作回路 119

6.2.1 信号与噪声 120

6.2.2 大数据反馈回路 120

6.2.3 最小数据规模 121

6.2.4 大数据应用程序的优势与作用 121

6.3 大数据资产的崛起 122

6.3.1 大数据催生崭新的应用程序 122

6.3.2 寻找大数据“空白”，提取最大价值 122

第7章 大数据预测分析 126

7.1 什么是预测分析 130

7.1.1 预测分析的作用 130

7.1.2 行业应用举例 131

7.2 数据情感和情感数据 132

7.2.1 从博客观察集体情感 132

7.2.2 预测分析博客中的情绪 133

7.2.3 影响情绪的重要因素——金钱 135

7.3 数据具有内在预测性 136

7.4 情感的因果关系 137

7.4.1 焦虑指数与标普500指数 137

7.4.2 验证情感和被验证的情感 138

7.4.3 情绪指标影响金融市场 139

第8章 大数据促进学习 149

8.1 打造网络教育体系 152

8.1.1 典型的网络教育形式 152

8.1.2 未来的教育：线上线下结合 153

8.1.3 跟踪教学效果 154

8.1.4 形成学习能力 155

8.2 机器学习及其研究 155

8.2.1 什么是人工智能 156

8.2.2 什么是机器学习 157

8.2.3 基本结构 159

8.2.4 研究领域 160

8.3 机器学习的分类 160

8.3.1 基于学习策略的分类 160

8.3.2 基于所获取知识的表示形式分类 161

8.3.3 按应用领域分类 162

8.3.4 按学习形式分类 162

第9章 大数据在云端 171

9.1 云端大数据 173

9.1.1 什么是云计算 173

9.1.2 云计算的服务形式 174

9.1.3 云计算与大数据 175

9.1.4 云基础设施 176

9.2 计算虚拟化 176

9.3 大数据存储 177

9.3.1 传统存储系统时代 178

9.3.2 大数据时代的新挑战 178

9.3.3 分布式存储 180

9.3.4 云存储 180

9.3.5 大数据存储的其他需求 181

9.4 网络虚拟化 182

9.4.1 网卡虚拟化 182

9.4.2 虚拟交换机 183

9.4.3 接入层的虚拟化 184

9.4.4 覆盖网络虚拟化 184

9.4.5 软件定义的网络 184

9.4.6 对大数据处理的意义 185

9.5 数据即服务 185

9.5.1 数据应用 185

9.5.2 数据清理 185

9.5.3 数据保密 186

9.6 云的挑战 186

第10章 支撑大数据的技术 193

10.1 开源技术的商业支援 195

10.2 大数据的技术架构 196

10.3 什么是Hadoop 197

10.3.1 什么是分布式系统 197

10.3.2 Hadoop的由来 199

10.3.3 Hadoop的优势 200

10.3.4 Hadoop的发行版本 200

10.4 大数据的数据处理基础 202

10.4.1 Hadoop与NoSQL 203

10.4.2 NoSQL与RDBMS的主要区别 204

10.4.3 NewSQL 206

10.5 相关的大数据技术 207

10.5.1 神经网络 207

10.5.2 自然语言处理 208

10.5.3 语义检索 209

10.5.4 链接挖掘 210

10.5.5 A/B测试 210

第11章 数据科学与数据科学家 217

11.1 什么是数据科学 218

11.2 数据分析生命周期模型 219

11.3 数据科学家 221

11.3.1 大数据生态系统中的关键角色 222

11.3.2 数据科学家所需的技能 223

11.3.3 数据科学家所需的素质 226

11.3.4 数据科学家的学习内容 227

11.4 数据科学的重要技能 229

11.4.1 数据科学技能和熟练程度 230

11.4.2 重要数据科学技能 230

11.4.3 因职业角色而异的十大技能 231

11.4.4 职业角色的重要技能 233

第12章 大数据的未来 240

12.1 消费者的隐私权 242

12.2 连接开放数据 244

12.2.1 LOD运动 244

12.2.2 对政府公开的影响 245

12.2.3 利用开放数据的创业型公司 247

12.3 数据市场的兴起 247

12.3.1 Factual 248

12.3.2 Windows Azure Marketplace 248

12.3.3 Infochimps 248

12.3.4 Public Data Sets On AWS 249

12.3.5 不同的商业模式 249

12.4 将原创数据变为增值数据 250

12.5 大数据未来展望 251

12.5.1 大数据存储和管理 252

12.5.2 传统IT系统到大数据系统的过渡 252

12.5.3 大数据分析 253

12.5.4 大数据安全 254

12.5.5 数据科学 254

参考文献 266