第1章 企业大数据战略定位 1
1.1宏观 1
1.2微观 4
1.2.1资源协同 5
1.2.2战略定位 6
1.2.3启动契机 7
1.2.4大数据历程 9
1.3本章小结 12
第2章 企业大数据职能规划 13
2.1大数据组织架构体系 13
2.1.1大数据部门在企业中的角色 13
2.1.2常见的大数据职能及职责 17
2.2大数据职位构建体系 24
2.2.1基础平台类 24
2.2.2数据管理类 26
2.2.3技术研发类 27
2.2.4产品设计类 30
2.2.5数据挖掘类 32
2.2.6 数据分析类 33
2.3大数据制度和流程规范 35
2.3.1制度和流程规范意义 35
2.3.2制度和流程规范内容 35
2.3.3制度和流程规范模板 42
2.4本章小结 44
第3章 企业大数据解决方案 45
3.1企业大数据解决方案实现方式 45
3.1.1独立研发 45
3.1.2第三方解决方案 46
3.1.3联合开发 57
3.2如何选择解决方案 58
3.2.1外部环境分析 58
3.2.2内部环境分析 59
3.2.3需求规划分析 62
3.2.4解决方案特性分析 63
3.2.5解决方案费用评估 67
3.3本章小结 70
第4章 企业大数据自主实施思路 71
4.1制定规划原则 71
4.1.1价值性 71
4.1.2实时性 72
4.1.3高效性 72
4.1.4安全性 72
4.1.5延展性 73
4.1.6全局性 74
4.2制定目标蓝图 75
4.3制定建设目标 76
4.4明确组织规划 78
4.4.1组织结构设计的作用 79
4.4.2组织结构设立的导向 79
4.4.3组织结构的最终设立 81
4.5设计技术方案 85
4.5.1大数据系统建设方案 85
4.5.2大数据系统与传统BI的融合方案 91
4.6制定人才规划 94
4.6.1指导思想 94
4.6.2规划原则 94
4.6.3核心内容 95
4.7投入产出评估 97
4.7.1数据投入与产出的内涵 97
4.7.2数据投入与产出的特征 98
4.7.3数据投入与产出的管理 99
4.8数据风险管理 105
4.8.1数据风险管理的概念 105
4.8.2数据风险管理的类型 106
4.8.3数据风险管理的原则 109
4.8.4数据风险管理与控制 110
4.9本章小结 114
第5章 大数据技术介绍 115
5.1核心技术 115
5.1.1 Hadoop生态 115
5.1.2 NoSQL 142
5.1.3实时计算 150
5.1.4全文检索 160
5.2相关技术 204
5.2.1数据可视化 204
5.2.2数据缓存 220
5.2.3中间件 227
5.2.4关系型数据库 236
5.2.5数据ETL 245
5.3大数据算法库 250
5.4本章小结 276
第6章 大数据架构设计 277
6.1大数据架构设计原则 277
6.2大数据核心架构要素 279
6.3大数据架构设计模式 284
6.4本章小结 289
第7章 大数据技术开发 290
7.1数据采集 290
7.1.1批量采集 291
7.1.2增量采集 292
7.2数据存储 293
7.2.1 HDFS文件存储引擎 294
7.2.2 Hive数据存储引擎 295
7.2.3 HBase列式存储引擎 295
7.2.4 MySQL关系型数据存储引擎 296
7.3多维计算 296
7.4功能服务 299
7.5平台管理 301
7.5.1监控管理 301
7.5.2调度管理 302
7.5.3权限管理 304
7.6应用域 307
7.7本章小结 308
第8章 大数据工作流 309
8.1数据源 310
8.1.1日志/文件 310
8.1.2数据库 310
8.1.3网络爬虫 311
8.1.4第三方API/合作 311
8.2数据处理 312
8.2.1数据质量校验 312
8.2.2清洗转换 316
8.2.3质量提升 320
8.2.4数据脱敏 321
8.2.5集成整合 323
8.3数据存储 324
8.3.1关系型数据库 324
8.3.2分布式文件系统 325
8.4数据计算 325
8.4.1三种数据计算时效性 325
8.4.2结构化数据计算 327
8.4.3半/非结构化数据计算 333
8.4.4深度挖掘学习 360
8.5数据应用 376
8.5.1辅助决策 376
8.5.2数据驱动 377
8.6数据质量管理 379
8.6.1数据质量建设的内涵 379
8.6.2影响数据质量的常见因素 380
8.6.3数据质量建设的框架 381
8.7本章小结 392
第9章 企业大数据业务应用 393
9.1大数据应用场景概述 393
9.1.1场景商业目的分析 394
9.1.2场景数据来源分析 394
9.1.3场景数据难易分析 397
9.1.4场景应用举例 397
9.2用户画像 407
9.2.1业务应用背景 407
9.2.2主要实现过程 408
9.2.3关键应用场景 414
9.2.4应用价值提炼 415
9.2.5场景总结回顾 417
9.3个性化营销 419
9.3.1业务应用背景 419
9.3.2主要实现过程 421
9.3.3关键应用场景 424
9.3.4应用价值提炼 425
9.3.5场景总结回顾 426
9.4精准广告 427
9.4.1业务应用背景 427
9.4.2主要实现过程 429
9.4.3关键应用场景 438
9.4.4应用价值提炼 439
9.4.5场景总结回顾 440
9.5征信 441
9.5.1应用场景背景 441
9.5.2主要实现过程 442
9.5.3主要应用场景 447
9.5.4应用价值提炼 449
9.5.5场景总结回顾 449
9.6本章小结 450
第10章 企业大数据价值评估 451
10.1资产价值 451
10.1.1数据规模 451
10.1.2数据价值度 452
10.1.3数据鲜活性 454
10.1.4数据关联维度 454
10.1.5数据粒度 455
10.2业务价值 455
10.2.1用户体验提升 455
10.2.2运营优化 457
10.2.3销售贡献 460
10.2.4供应链优化 461
10.3本章小结 462
第11章 大数据的社会价值 463
11.1民生价值 463
11.2政务价值 465
11.3产业价值 468
11.4本章小结 470
第12章 大数据当前问题及挑战 471
12.1数据挑战 471
12.2安全挑战 472
12.3价值挑战 474
12.4认知挑战 475
12.5技术挑战 478
12.6人才挑战 480
12.7本章小结 481
第13章 大数据未来趋势 482
13.1价值资产化 482
13.2产业生态化 487
13.3主体社会化 490
13.4应用智能化 491
13.5本章小结 492