第1章 什么是数据化运营 1
1.1现代营销理论的发展历程 2
1.1.1从4P到4C 2
1.1.2从4C到3P3C 3
1.2数据化运营的主要内容 5
1.3为什么要数据化运营 7
1.4数据化运营的必要条件 8
1.4.1企业级海量数据存储的实现 8
1.4.2精细化运营的需求 10
1.4.3数据分析和数据挖掘技术的有效应用 11
1.4.4企业决策层的倡导与持续支持 11
1.5数据化运营的新现象与新发展 12
1.6关于互联网和电子商务的最新数据 14
第2章 数据挖掘概述 15
2.1数据挖掘的发展历史 16
2.2统计分析与数据挖掘的主要区别 16
2.3数据挖掘的主要成熟技术以及在数据化运营中的主要应用 18
2.3.1决策树 18
2.3.2神经网络 19
2.3.3回归 21
2.3.4关联规则 22
2.3.5聚类 23
2.3.6贝叶斯分类方法 24
2.3.7支持向量机 25
2.3.8主成分分析 26
2.3.9假设检验 27
2.4互联网行业数据挖掘应用的特点 28
第3章 数据化运营中常见的数据分析项目类型 30
3.1目标客户的特征分析 31
3.2目标客户的预测(响应、分类)模型 32
3.3运营群体的活跃度定义 33
3.4用户路径分析 34
3.5交叉销售模型 35
3.6信息质量模型 37
3.7服务保障模型 39
3.8用户(买家、卖家)分层模型 40
3.9卖家(买家)交易模型 44
3.10信用风险模型 44
3.11商品推荐模型 45
3.11.1商品推荐介绍 45
3.11.2关联规则 45
3.11.3协同过滤算法 50
3.11.4商品推荐模型总结 54
3.12数据产品 55
3.13决策支持 56
第4章 数据化运营是跨专业、跨团队的协调与合作 57
4.1数据分析团队与业务团队的分工和定位 58
4.1.1提出业务分析需求并且能胜任基本的数据分析 58
4.1.2提供业务经验和参考建议 60
4.1.3策划和执行精细化运营方案 60
4.1.4跟踪运营效果、反馈和总结 61
4.2数据化运营是真正的多团队、多专业的协同作业 62
4.3实例示范数据化运营中的跨专业、跨团队协调合作 62
第5章 分析师常见的错误观念和对治的管理策略 67
5.1轻视业务论 68
5.2技术万能论 69
5.3技术尖端论 71
5.4建模与应用两段论 72
5.5机器万能论 73
5.6幸福的家庭都是相似的,不幸的家庭各有各的不幸 74
第6章 数据挖掘项目完整应用案例演示 76
6.1项目背景和业务分析需求的提出 77
6.2数据分析师参与需求讨论 78
6.3制定需求分析框架和分析计划 79
6.4抽取样本数据、熟悉数据、数据清洗和摸底 81
6.5按计划初步搭建挖掘模型 81
6.6与业务方讨论模型的初步结论,提出新的思路和模型优化方案 83
6.7按优化方案重新抽取样本并建模,提炼结论并验证模型 84
6.8完成分析报告和落地应用建议 86
6.9制定具体的落地应用方案和评估方案 86
6.10业务方实施落地应用方案并跟踪、评估效果 86
6.11落地应用方案在实际效果评估后,不断修正完善 88
6.12不同运营方案的评估、总结和反馈 88
6.13项目应用后的总结和反思 89
第7章 数据挖掘建模的优化和限度 90
7.1数据挖掘模型的优化要遵循有效、适度的原则 91
7.2如何有效地优化模型 92
7.2.1从业务思路上优化 92
7.2.2从建模的技术思路上优化 94
7.2.3从建模的技术技巧上优化 95
7.3如何思考优化的限度 96
7.4模型效果评价的主要指标体系 96
7.4.1评价模型准确度和精度的系列指标 97
7.4.2 ROC曲线 99
7.4.3 KS值 100
7.4.4 Lift值 102
7.4.5模型稳定性的评估 104
第8章 常见的数据处理技巧 105
8.1数据的抽取要正确反映业务需求 106
8.2数据抽样 107
8.3分析数据的规模有哪些具体的要求 108
8.4如何处理缺失值和异常值 109
8.4.1缺失值的常见处理方法 109
8.4.2异常值的判断和处理 111
8.5数据转换 112
8.5.1生成衍生变量 113
8.5.2改善变量分布的转换 113
8.5.3分箱转换 114
8.5.4数据的标准化 115
8.6筛选有效的输入变量 115
8.6.1为什么要筛选有效的输入变量 116
8.6.2结合业务经验进行先行筛选 116
8.6.3用线性相关性指标进行初步筛选 117
8.6.4 R平方 118
8.6.5卡方检验 119
8.6.6 IV和WOE 120
8.6.7部分建模算法自身的筛选功能 121
8.6.8降维的方法 122
8.6.9最后的准则 122
8.7共线性问题 123
8.7.1如何发现共线性 123
8.7.2如何处理共线性 123
第9章 聚类分析的典型应用和技术小窍门 125
9.1聚类分析的典型应用场景 126
9.2主要聚类算法的分类 127
9.2.1划分方法 127
9.2.2层次方法 128
9.2.3基于密度的方法 128
9.2.4基于网格的方法 129
9.3聚类分析在实践应用中的重点注意事项 129
9.3.1如何处理数据噪声和异常值 129
9.3.2数据标准化 130
9.3.3聚类变量的少而精 131
9.4聚类分析的扩展应用 132
9.4.1聚类的核心指标与非聚类的业务指标相辅相成 132
9.4.2数据的探索和清理工具 132
9.4.3个性化推荐的应用 133
9.5聚类分析在实际应用中的优势和缺点 134
9.6聚类分析结果的评价体系和评价指标 135
9.6.1业务专家的评估 135
9.6.2聚类技术上的评价指标 136
9.7一个典型的聚类分析课题的案例分享 137
9.7.1案例背景 137
9.7.2基本的数据摸底 137
9.7.3基于用户样本的聚类分析的初步结论 138
第10章 预测响应(分类)模型的典型应用和技术小窍门 140
10.1神经网络技术的实践应用和注意事项 141
10.1.1神经网络的原理和核心要素 141
10.1.2神经网络的应用优势 143
10.1.3神经网络技术的缺点和注意事项 143
10.2决策树技术的实践应用和注意事项 144
10.2.1决策树的原理和核心要素 144
10.2.2 CHAID算法 145
10.2.3 CART算法 145
10.2.4 ID3算法 146
10.2.5决策树的应用优势 146
10.2.6决策树的缺点和注意事项 147
10.3逻辑回归技术的实践应用和注意事项 148
10.3.1逻辑回归的原理和核心要素 148
10.3.2回归中的变量筛选方法 150
10.3.3逻辑回归的应用优势 151
10.3.4逻辑回归应用中的注意事项 151
10.4多元线性回归技术的实践应用和注意事项 152
10.4.1线性回归的原理和核心要素 152
10.4.2线性回归的应用优势 153
10.4.3线性回归应用中的注意事项 153
10.5模型的过拟合及对策 154
10.6一个典型的预测响应模型的案例分享 156
10.6.1案例背景 156
10.6.2基本的数据摸底 156
10.6.3建模数据的抽取和清洗 158
10.6.4初步的相关性检验和共线性排查 159
10.6.5潜在自变量的分布转换 160
10.6.6自变量的筛选 161
10.6.7响应模型的搭建与优化 162
10.6.8冠军模型的确定和主要的分析结论 162
10.6.9基于模型和分析结论基础上的运营方案 164
10.6.10模型落地应用效果跟踪反馈 165
第11章 用户特征分析的典型应用和技术小窍门 166
11.1用户特征分析所适用的典型业务场景 167
11.1.1寻找目标用户 167
11.1.2寻找运营的抓手 168
11.1.3用户群体细分的依据 169
11.1.4新品开发的线索和依据 169
11.2用户特征分析的典型分析思路和分析技术 170
11.2.1 3种划分的区别 170
11.2.2 RFM 171
11.2.3聚类技术的应用 172
11.2.4决策树技术的应用 173
11.2.5预测(响应)模型中的核心自变量 173
11.2.6假设检验的应用 174
11.3特征提炼后的评价体系 174
11.4用户特征分析与用户预测模型的区别和联系 175
11.5用户特征分析案例 176
第12章 运营效果分析的典型应用和技术小窍门 177
12.1为什么要做运营效果分析 178
12.2统计技术在数据化运营中最重要最常见的应用 179
12.2.1为什么要进行假设检验 179
12.2.2假设检验的基本思想 179
12.2.3 T检验概述 180
12.2.4两组独立样本T检验的假设和检验 181
12.2.5两组独立样本的非参数检验 182
12.2.6配对差值的T检验 183
12.2.7配对差值的非参数检验 184
12.2.8方差分析概述 186
12.2.9单因素方差分析 187
12.2.10多个样本组的非参数检验 190
12.2.11卡方检验 190
12.2.12控制变量的方法 191
12.2.13 AB Test 192
第13章 漏斗模型和路径分析 193
13.1网络日志和布点 194
13.1.1日志布点 195
13.1.2日志采集 195
13.1.3日志解析 195
13.1.4日志分析 195
13.2漏斗模型与路径分析的主要区别和联系 196
13.3漏斗模型的主要应用场景 197
13.3.1运营过程的监控和运营效率的分析与改善 197
13.3.2用户关键路径分析 198
13.3.3产品优化 198
13.4路径分析的主要应用场景 198
13.5路径分析的主要算法 199
13.5.1社会网络分析方法 199
13.5.2基于序列的关联分析 200
13.5.3最朴素的遍历方法 201
13.6路径分析案例的分享 203
13.6.1案例背景 203
13.6.2主要的分析技术介绍 203
13.6.3分析所用的数据概况 203
13.6.4主要的数据结论和业务解说 203
13.6.5主要分析结论的落地应用跟踪 206
第14章 数据分析师对业务团队数据分析能力的培养 208
14.1培养业务团队数据分析意识与能力的重要性 209
14.2数据分析师在业务团队数据分析意识能力培养中的作用 210
14.3数据分析师如何培养业务团队的数据分析意识和能力 210
14.4数据分析师培养业务团队数据分析意识能力的案例分享 212
14.4.1案例背景 212
14.4.2过程描述 212
14.4.3本项目的效果跟踪 214
第15章 换位思考 216
15.1为什么要换位思考 217
15.2从业务方的角度换位思考数据分析与挖掘 218
15.3从同行的角度换位思考数据分析挖掘的经验教训 220
第16章 养成数据分析师的品质和思维模式 222
16.1态度决定一切 223
16.1.1信念 223
16.1.2信心 224
16.1.3热情 225
16.1.4敬畏 226
16.1.5感恩 227
16.2商业意识是核心 228
16.2.1为什么商业意识是核心 228
16.2.2如何培养商业意识 229
16.3一个基本的方法论 230
16.4大胆假设,小心求证 231
16.5 2080原理 233
16.6结构化思维 233
16.7优秀的数据分析师既要客观,又要主观 234
第17章 条条大道通罗马 236
17.1为什么会条条大道通罗马 237
17.2条条大道有侧重 238
17.3自觉服从和积极响应 239
17.3.1自觉服从 239
17.3.2积极响应 240
17.4具体示例 242
第18章 数据挖掘实践的质量保障流程和制度 243
18.1一个有效的质量保障流程制度 244
18.1.1业务需求的收集 245
18.1.2评估小组评估需求的优先级 246
18.1.3课题组的成立及前期摸底 247
18.1.4向业务方提交正式课题(项目)计划书 247
18.1.5数据分析挖掘的课题展开 248
18.1.6向业务方提交结论报告及业务落地应用建议 248
18.1.7课题(项目)的落地应用和效果监控反馈 248
18.2质量保障流程制度的重要性 249
18.3如何支持与强化质量保障流程制度 250
第19章 几个经典的数据挖掘方法论 251
19.1 SEMMA方法论 252
19.1.1数据取样 253
19.1.2数据探索 253
19.1.3数据调整 253
19.1.4模式化 254
19.1.5评价 254
19.2 CRISP-DM方法论 254
19.2.1业务理解 255
19.2.2数据理解 256
19.2.3数据准备 256
19.2.4模型搭建 256
19.2.5模型评估 256
19.2.6模型发布 256
19.3 Tom Khabaza的挖掘9律 256