大数据和大分析PDF电子书下载

第1章 背景 1

1.1大数据的引出和影响 3

1.1.1“大数据，大商机” 3

1.1.2“数据资产”的引出 6

1.1.3数据量庞大 9

1.1.4数据结构复杂 10

1.1.5数据价值有待挖掘 11

1.1.6“数据驱动”的变革 12

1.1.7互联网发展中的“数联网” 15

1.2为何需要大分析 16

1.2.1数据价值评估 16

1.2.2“数据资产”变现问题 18

1.2.3大分析的技术基础 20

1.2.4大分析面临的问题 26

1.3大分析的应用案例 29

1.3.1新的“啤酒和尿布” 29

1.3.2 KPI信息地图 30

1.3.3“大数据、超细分、微营销” 32

1.4 小结 34

第2章 大数据基础 35

2.1大数据的基本理念 36

2.1.1概念和定义探索 36

2.1.2大数据的技术基础 37

2.1.3没有大分析，大数据就是大垃圾 38

2.1.4大数据如何借鉴“数据仓库”的经验 38

2.1.5企业级数据中心 41

2.2大数据与数据仓库的关系 42

2.2.1大数据扩展数据仓库理论架构 42

2.2.2大数据继承数据仓库数据管理的经验 43

2.2.3大数据开启了非结构化数据的处理 43

2.2.4大数据要借鉴数据仓库的生态圈 43

2.2.5大数据应继承数据分析技术 44

2.2.6与数据库的关系 44

2.2.7数据仓库借鉴大数据的营销模式 44

2.3大数据的基本特点 45

2.3.1 “4V”特点 45

2.3.2大分析角度的大数据特征 45

2.4大数据的价值和意义 46

2.4.1围绕客户信息，提供全方位服务 46

2.4.2构筑“虚拟团队”，提升团队管理水平 46

2.4.3让“智慧城市”“智能交通”等变为可能 47

2.4.4构筑“理性社会”终于成为可能 47

2.4.5中国前所未有的一次“弯道超车”机遇 47

2.5大数据的问题和挑战 48

2.5.1数据质量问题越发突出 48

2.5.2数据分析技术尚缺实质突破 48

2.5.3大数据应用水平需要逐步演进、逐步深化 48

2.5.4大数据技术架构面临突破 49

2.5.5数据理念与国外仍然相距甚远 49

2.5.6大数据是一项系统工程 49

2.6小结 50

第3章 大数据的管理 51

3.1数据如何收集 52

3.1.1能获取哪些数据 52

3.1.2基于数据价值，决定数据的收集、存放策略 53

3.1.3没有应用时，是否收集数据 53

3.2数据的标准 53

3.2.1数据接口 53

3.2.2数据模型 55

3.3大数据的ETL过程 57

3.4大数据如何存储 58

3.4.1数据库/数据仓库 58

3.4.2分布式文件系统（HDFS） 59

3.4.3混搭模式 63

3.4.4 Hive /Hbase等 63

3.4.5 MPP 65

3.5数据如何估值和计费 65

3.5.1什么数据最好卖 66

3.5.2市场价格 66

3.5.3数据的开放 67

3.6大数据的“数据资产”管理 67

3.7数据如何保障安全 68

3.8小结 71

第4章 大数据的技术架构 73

4.1大数据处理架构 74

4.1.1大数据处理层级和域 75

4.1.2哪些计算适合并行 78

4.2为何是混搭架构 78

4.2.1大数据混搭架构的利弊分析 79

4.2.2架构是否去IOE 80

4.2.3大数据混搭架构实例 80

4.3数据集市的模式 83

4.3.1数据沙盒模式 85

4.3.2贴近角色的平台及应用 85

4.3.3文件集市 89

4.4数据管控模块 89

4.4.1元数据 89

4.4.2数据质量 91

4.5大数据的“爬虫”技术 93

4.5.1定制爬虫Nutch 94

4.5.2分词技术——庖丁分词 94

4.5.3索引及全文检索——Splunk 95

4.5.4上网数据解析流程 97

4.6大数据安全管理框架 99

4.6.1安全管控技术架构 99

4.6.2管理制度建设 101

4.6.3去隐私化技术举例 103

4.7小结 108

第5章 大数据的数据质量管控 111

5.1数据质量概念 113

5.1.1基本概念 113

5.1.2大数据就不考虑质量了吗 117

5.2元数据 118

5.2.1数据的数据 118

5.2.2元数据的CWM标准 120

5.2.3元数据分类 122

5.3数据质量管控 123

5.3.1数据质量管控目标 123

5.3.2数据质量子系统架构 124

5.4如何建立数据质量管理制度 129

5.4.1数据质量分工管理流程 129

5.4.2及时监控和告警 136

5.5数据质量管控产品的客户体验 139

5.5.1降低技术门槛 139

5.5.2产品的手机App化 140

5.6小结 141

第6章 大数据如何带来大分析 143

6.1没有应用的数据是垃圾数据 145

6.1.1应用的广度 145

6.1.2应用的深度 145

6.1.3应用的实时性/融合性 146

6.2大分析（BA）的概念 147

6.2.1“大分析”的发展变化 147

6.2.2大分析的“群众路线” 150

6.3大分析（BA）的产品开发 151

6.3.1基于数据分析，解决实际问题 152

6.3.2 BA产品和分析工具产品的区隔 154

6.3.3自助分析 158

6.3.4导航式分析 161

6.4应用推广问题 170

6.4.1市场的“冬天”就是大分析的“春天” 170

6.4.2为何需要应用推广 170

6.4.3如何证明分析的独特价值 171

6.4.4如何解决员工实际的问题 172

6.4.5电信和互联网行业应用推广对比 172

6.4.6不同的企业用不同的推广方法 172

6.5大分析的“闭环”问题 173

6.5.1分析和执行的闭环执行 173

6.5.2营销流程的设计——营销管理平台 173

6.6小结 176

第7章 大分析应用案例 179

7.1大分析的应用阶段 180

7.2非结构化数据的分析 181

7.2.1客户投诉内容分析 181

7.2.2互联网舆情监控分析 183

7.3客户分析 184

7.3.1客户生命周期 184

7.3.2客户内容属性 197

7.3.3客户行为属性 203

7.3.4客户新业务分析 218

7.3.5客户满意度分析 220

7.3.6客户流失分析 223

7.4产品分析 234

7.4.1建设背景和目的 235

7.4.2整体流程 235

7.4.3建设中涉及的模型 235

7.5内容营销分析 240

7.5.1手机视频产品营销触发 240

7.5.2手机视频内容分析 240

7.5.3目标客户筛选和细分 240

7.5.4方案设计 241

7.5.5营销脚本设计 242

7.5.6营销方式选择 243

7.5.7营销方式使用效果 243

7.5.8效益评估 244

7.6网格化管理分析 245

7.7社会渠道欺诈分析 247

7.7.1概述 247

7.7.2模型方法 248

7.7.3模型定义 250

7.7.4业务应用 255

7.7.5优化方法 256

第8章 大数据中的互联网思维 257

8.1互联网思维介绍 258

8.1.1九大特征 258

8.1.2大数据为何需要互联网思维 260

8.1.3大数据如何借助互联网思维 260

8.2 BA产品定义 260

8.3 BA产品的客户体验 263

8.3.1客户是谁 263

8.3.2客户的体验是什么 264

8.3.3提升客户体验的展示形式 266

8.3.4提升客户体验的解决问题能力 270

8.4 BA产品迭代开发 280

8.4.1如何构建共享方式 280

8.4.2提供API接口 282

8.4.3提供类似App Store开发环境 284

8.5 BA产品的“客户入口”把控 286

8.5.1抓住客户的入口 286

8.5.2让客户参与BA产品开发 287

8.5.3 BA产品的内部客户营销 287

第9章 大数据的管理架构及探索 289

9.1 BA产品生态圈的建设 290

9.1.1生态圈组成 290

9.1.2生态圈盈利模式 292

9.1.3生态圈的“共赢” 293

9.2管理架构举例 294

9.2.1互联网企业架构 294

9.2.2运营公司的架构 295

9.2.3架构的特点分析 295

9.3人才的培养 296

9.3.1知识结构要求 296

9.3.2交际（团队）能力要求 297

9.3.3耐压能力要求 297

9.4团队的构建及激励 298

9.4.1技术人员转型业务人员 298

9.4.2业务经验的培养和积累 298

9.4.3待遇激励 298

第10章 后记 299