大数据分析概论PDF电子书下载

理论篇 3

第一章 大数据分析概述 3

1.1大数据分析的背景与基础 4

1.1.1大数据分析的背景 4

1.1.2大数据分析的基础 6

1.2大数据分析的概念与原理 8

1.2.1大数据分析的概念界定 8

1.2.2大数据分析的基本原理 10

1.3大数据分析的思维与误区 11

1.3.1大数据分析的思维 11

1.3.2大数据分析的误区 14

1.4大数据分析的作用及影响 19

1.4.1大数据分析对企业的作用和影响 19

1.4.2大数据分析对社会的作用和影响 20

1.5大数据分析的过程与对象 21

1.5.1大数据分析的过程 21

1.5.2大数据分析的对象 22

1.6大数据分析的流程与基础模型 25

1.6.1大数据分析的流程 25

1.6.2大数据分析的基础模型 27

延伸阅读思考：大数据分析带来的改变 29

实验一：认知大数据分析的价值 29

第二章 大数据分析的体系架构 30

2.1大数据分析的总体架构 31

2.1.1基础IT系统 31

2.1.2数据集中与标准化 32

2.1.3数据报表与可视化 33

2.1.4产品与运营分析 34

2.1.5精细化运营 35

2.1.6数据产品 36

2.2大数据分析的技术体系 36

2.2.1基于分析流程的大数据技术栈 36

2.2.2基于主流软件的大数据技术栈 37

2.2.3基于淘宝海量数据的大数据技术栈 39

2.3大数据分析的产业架构 40

2.3.1国外大数据分析的产业架构 40

2.3.2国内大数据分析的产业架构 43

延伸阅读思考：携程大数据应用框架的重构 48

实验二：理解大数据分析的体系 49

第三章 大数据分析的关键技术 50

3.1大数据分析的关键技术概述 51

3.1.1基于大数据分析流程的关键技术 51

3.1.2基于大数据生态的关键技术 53

3.1.3大数据分析技术的发展趋势 55

3.2大数据分析的基础架构Hadoop 56

3.2.1 Hadoop概述 56

3.2.2 Hadoop的版本与选择 58

3.2.3 Hadoop生态的四层架构 59

3.2.4 Hadoop生态中的典型组件 61

3.2.5 Spark 65

3.3大数据分析的云技术 68

3.3.1云计算 68

3.3.2云平台 71

3.4大数据分析的存储技术 72

3.4.1分布式文件系统 72

3.4.2分布式数据库HBase 73

3.4.3 NoSQL数据库 74

延伸阅读思考：“大数据＋人脸识别”助力众可贷 77

实验三：认知大数据分析工具——以“魔镜”为例 79

第四章 大数据分析的数据采集与存储 84

4.1大数据采集概述 85

4.1.1大数据采集的基本概念 85

4.1.2大数据采集的数据源 86

4.1.3大数据采集架构与场景 87

4.1.4大数据采集的困境及对策 88

4.2大数据采集工具 90

4.2.1已有大数据采集工具的比较 90

4.2.2大数据采集工具的设计 92

4.3大数据存储 96

4.3.1传统存储面临的挑战 96

4.3.2大数据存储概述 98

4.3.3大数据存储的技术路线 103

4.3.4大数据存储和管理数据库系统 104

延伸阅读思考：医疗大数据——数据收集或是最难点 108

实验四：大数据分析的数据导入与编辑 109

第五章 大数据分析的数据清洗 117

5.1大数据质量 118

5.1.1大数据质量概述 118

5.1.2大数据质量产生的根源 121

5.1.3大数据质量问题的分类与实例 125

5.2大数据清洗概述 127

5.2.1大数据清洗定义 127

5.2.2大数据清洗的对象 127

5.2.3大数据清洗的总体架构 129

5.2.4大数据清洗与数据质量的关系 130

5.3大数据清洗的方法与工具 131

5.3.1大数据清洗方法概述 131

5.3.2可视化大数据清洗 132

5.3.3大数据清洗的工具 135

5.4大数据清洗的过程与具体内容 139

5.4.1大数据清洗的过程 139

5.4.2大数据清洗的具体内容 142

延伸阅读思考：微软与谷歌的拼写检查 146

实验五：大数据分析的数据清洗 147

第六章 大数据分析的数据挖掘 156

6.1传统数据挖掘 157

6.1.1数据挖掘的界定 157

6.1.2数据挖掘的基本流程 160

6.1.3数据挖掘面临的主要问题 164

6.2大数据和数据挖掘 165

6.2.1递进升级学说 165

6.2.2一体两面学说 167

6.2.3互相促进学说 168

6.2.4其他学说 169

6.3大数据挖掘的任务 170

6.3.1分类 170

6.3.2聚类 172

6.3.3关联分析 173

6.3.4估测和预测 174

6.4大数据挖掘的流程 175

6.5大数据挖掘的常用算法 177

6.5.1决策树 177

6.5.2遗传算法 183

6.5.3神经网络 186

6.5.4关联规则 189

6.5.5粗糙集 191

延伸阅读思考：大数据预测——真的有那么神奇吗？ 193

实验六：大数据挖掘实验 194

第七章 大数据分析的数据展现 197

7.1数据可视化概述 198

7.1.1数据可视化的含义 198

7.1.2数据可视化的应用价值和应用领域 200

7.1.3数据可视化的工具 201

7.1.4数据可视化步骤 205

7.2数据可视化的基础要素 208

7.2.1数据 208

7.2.2图表 209

7.3数据可视化的表现形式 214

7.3.1数据可视化的常见方式 214

7.3.2不同类型数据的展示 215

7.3.3不同类型图形的展示 217

7.4数据可视化的设计 220

7.4.1设计的基本理念 220

7.4.2图表设计技巧 222

7.4.3配色方案设计 224

7.4.4字体设计 227

7.4.5应用场景设计 228

7.5数据可视化的改进 231

7.5.1总体思路 231

7.5.2图表改进思路 233

延伸阅读思考：《卫报》的数据可视化与数据新闻 235

实验七：数据图表规范化和美化 238

实训篇 247

第一章 财务数据分析 247

1.1实训背景知识 247

1.2实训简介 247

1.2.1原始数据情况 247

1.2.2实训分析过程 248

1.3实训过程 248

1.3.1新建项目 248

1.3.2数据导入 249

1.3.3数据处理 249

1.3.4数据分析 251

1.3.5数据可视化 255

1.4实训总结 259

1.5实训思考题 260

第二章 库龄库存分析 261

2.1实训背景知识 261

2.2实训简介 261

2.2.1原始数据情况 261

2.2.2实训分析过程 261

2.3实训过程 262

2.3.1新建项目 262

2.3.2数据导入 262

2.3.3数据处理 263

2.3.4数据分析 263

2.3.5数据可视化 267

2.4实训总结 268

2.5实训思考题 268

第三章 销售数据分析 269

3.1实训背景知识 269

3.2实训简介 269

3.2.1原始数据情况 269

3.2.2实训分析过程 270

3.3实训过程 270

3.3.1新建项目 270

3.3.2数据导入 271

3.3.3数据处理 271

3.3.4数据分析 272

3.3.5数据挖掘 279

3.3.6数据可视化 280

3.4实训总结 281

3.4.1实训总结结论 281

3.4.2实训总结建议 282

3.5实训思考题 282

第四章 油井数据分析 283

4.1实训背景知识 283

4.2实训简介 283

4.2.1原始数据情况 283

4.2.2实训分析过程 284

4.3实训过程 284

4.3.1新建项目 284

4.3.2数据导入 285

4.3.3数据处理 285

4.3.4数据分析 288

4.3.5数据挖掘 291

4.3.6数据可视化 292

4.4实训总结 294

4.5实训思考题 294

第五章 网站流量分析 295

5.1实训背景知识 295

5.2实训简介 296

5.2.1原始数据情况 296

5.2.2实训分析过程 296

5.3实训过程 297

5.3.1新建项目 297

5.3.2数据导入 297

5.3.3数据处理 298

5.3.4数据分析 298

5.3.5数据挖掘 304

5.4实训总结 306

5.5实训思考题 306

第六章 楼盘数据分析 307

6.1实训背景知识 307

6.2实训简介 307

6.2.1原始数据情况 307

6.2.2实训分析过程 308

6.3实训过程 308

6.3.1新建项目 308

6.3.2数据导入 309

6.3.3数据处理 309

6.3.4数据分析 310

6.3.5数据可视化 313

6.4实训总结 314

6.5实训思考题 314

第七章 贷款数据分析 315

7.1实训背景知识 315

7.2实训简介 315

7.2.1原始数据情况 315

7.2.2实训分析过程 316

7.3实训过程 316

7.3.1新建项目 316

7.3.2数据导入 317

7.3.3数据处理 317

7.3.4数据分析 318

7.3.5数据可视化 324

7.4实训总结 325

7.5实训思考题 325

第八章NBA数据分析 326

8.1实训背景知识 326

8.2实训简介 326

8.2.1原始数据情况 326

8.2.2实训分析过程 326

8.3实训过程 327

8.3.1新建项目 327

8.3.2数据导入 327

8.3.3数据处理 328

8.3.4数据分析 329

8.3.5数据可视化 333

8.4实训总结 336

8.5实训思考题 336

第九章 行业职位需求分析 337

9.1实训背景知识 337

9.2实训简介 337

9.2.1原始数据情况 337

9.2.2实训分析过程 338

9.3实训过程 338

9.3.1新建项目 338

9.3.2数据导入 339

9.3.3数据处理 339

9.3.4数据分析 341

9.3.5数据可视化 348

9.4实训总结 349

9.5实训思考题 350

第十章 水资源数据分析 351

10.1实训背景知识 351

10.2实训简介 351

10.2.1原始数据情况 351

10.2.2实训分析过程 352

10.3实训过程 352

10.3.1新建项目 352

10.3.2数据导入 353

10.3.3数据处理 353

10.3.4数据分析 354

10.3.5数据可视化 360

10.4实训总结 362

10.5实训思考题 362

第十一章 国民经济数据分析 363

11.1实训背景知识 363

11.2实训简介 363

11.2.1原始数据情况 363

11.2.2实训分析过程 364

11.3实训过程 364

11.3.1新建项目 364

11.3.2数据导入 365

11.3.3数据处理 365

11.3.4数据分析 367

11.3.5数据可视化 373

11.4实训总结 374

11.5实训思考题 374

第十二章 政府财政预算分析 375

12.1实训背景知识 375

12.2实训简介 375

12.2.1原始数据情况 376

12.2.2实训分析过程 376

12.3实训过程 376

12.3.1新建项目 376

12.3.2数据导入 377

12.3.3数据处理 377

12.3.4数据分析 378

12.3.5数据可视化 383

12.3.6数据分析结果的分享 386

12.4实训总结 386

12.5实训思考题 386