第1章 Python和数据化运营 1
1.1 用Python做数据化运营 1
1.1.1 Python是什么 1
1.1.2 数据化运营是什么 2
1.1.3 Python用于数据化运营 5
1.2 数据化运营所需的Python相关工具和组件 6
1.2.1 Python程序 6
1.2.2 Python IDE 7
1.2.3 Python第三方库 8
1.2.4 数据库和客户端 16
1.2.5 SSH远程客户端 18
1.3 内容延伸：Python的OCR和TensorFlow 18
1.3.1 OCR工具：Tesseract-OCR 18
1.3.2 机器学习框架——TensorFlow 19
1.4 第一个用Python实现的数据化运营分析实例——销售预测 20
1.4.1 案例概述 20
1.4.2 案例过程 20
1.4.3 案例小结 28
1.5 本章小结 28
第2章 数据化运营的数据来源 31
2.1 数据化运营的数据来源类型 31
2.1.1 数据文件 31
2.1.2 数据库 32
2.1.3 API 33
2.1.4 流式数据 34
2.1.5 外部公开数据 34
2.1.6 其他 35
2.2 使用Python获取运营数据 35
2.2.1 从文本文件读取运营数据 35
2.2.2 从Excel获取运营数据 46
2.2.3 从关系型数据库MySQL读取运营数据 48
2.2.4 从非关系型数据库MongoDB读取运营数据 56
2.2.5 从API获取运营数据 59
2.3 内容延伸：读取非结构化网页、文本、图像、视频、语音 64
2.3.1 从网页中爬取运营数据 64
2.3.2 读取非结构化文本数据 65
2.3.3 读取图像数据 65
2.3.4 读取视频数据 68
2.3.5 读取语音数据 70
2.4 本章小结 75
第3章 11条数据化运营不得不知道的数据预处理经验 76
3.1 数据清洗：缺失值、异常值和重复值的处理 76
3.1.1 数据列缺失的4种处理方法 76
3.1.2 不要轻易抛弃异常数据 78
3.1.3 数据重复就需要去重吗 79
3.1.4 代码实操：Python数据清洗 81
3.2 将分类数据和顺序数据转换为标志变量 89
3.2.1 分类数据和顺序数据是什么 89
3.2.2 运用标志方法处理分类和顺序数据 90
3.2.3 代码实操：Python标志转换 90
3.3 大数据时代的数据降维 94
3.3.1 需要数据降维的情况 94
3.3.2 基于特征选择的降维 94
3.3.3 基于维度转换的降维 96
3.3.4 代码实操：Python数据降维 97
3.4 解决样本类别分布不均衡的问题 100
3.4.1 哪些运营场景中容易出现样本不均衡 100
3.4.2 通过过抽样和欠抽样解决样本不均衡 101
3.4.3 通过正负样本的惩罚权重解决样本不均衡 101
3.4.4 通过组合/集成方法解决样本不均衡 102
3.4.5 通过特征选择解决样本不均衡 102
3.4.6 代码实操：Python处理样本不均衡 102
3.5 如何解决运营数据源的冲突问题 106
3.5.1 为什么会出现多数据源的冲突 107
3.5.2 如何应对多数据源的冲突问题 109
3.6 数据化运营要抽样还是全量数据 109
3.6.1 什么时候需要抽样 110
3.6.2 如何进行抽样 110
3.6.3 抽样需要注意的几个问题 111
3.6.4 代码实操：Python数据抽样 113
3.7 解决运营数据的共线性问题 116
3.7.1 如何检验共线性 117
3.7.2 解决共线性的5种常用方法 117
3.7.3 代码实操：Python处理共线性问题 118
3.8 有关相关性分析的混沌 120
3.8.1 相关和因果是一回事吗 120
3.8.2 相关系数低就是不相关吗 121
3.8.3 代码实操：Python相关性分析 121
3.9 标准化，让运营数据落入相同的范围 122
3.9.1 实现中心化和正态分布的Z-Score 122
3.9.2 实现归一化的Max-Min 123
3.9.3 用于稀疏数据的MaxAbs 123
3.9.4 针对离群点的RobustScaler 123
3.9.5 代码实操：Python数据标准化处理 123
3.10 离散化，对运营数据做逻辑分层 126
3.10.1 针对时间数据的离散化 127
3.10.2 针对多值离散数据的离散化 127
3.10.3 针对连续数据的离散化 127
3.10.4 针对连续数据的二值化 128
3.10.5 代码实操：Python数据离散化处理 128
3.11 数据处理应该考虑哪些运营业务因素 133
3.11.1 考虑固定和突发运营周期 133
3.11.2 考虑运营需求的有效性 134
3.11.3 考虑交付时要贴合运营落地场景 134
3.11.4 不要忽视业务专家经验 135
3.11.5 考虑业务需求的变动因素 136
3.12 内容延伸：非结构化数据的预处理 137
3.12.1 网页数据解析 137
3.12.2 网络用户日志解析 144
3.12.3 图像的基本预处理 148
3.12.4 自然语言文本预处理 154
3.13 本章小结 157
第4章 跳过运营数据分析和挖掘的“大坑” 159
4.1 聚类分析 159
4.1.1 当心数据异常对聚类结果的影响 160
4.1.2 超大数据量时应该放弃K均值算法 160
4.1.3 聚类不仅是建模的终点，更是重要的中间预处理过程 162
4.1.4 高维数据上无法应用聚类吗 163
4.1.5 如何选择聚类分析算法 164
4.1.6 代码实操：Python聚类分析 164
4.2 回归分析 172
4.2.1 注意回归自变量之间的共线性问题 172
4.2.2 相关系数、判定系数和回归系数之间到底什么关系 172
4.2.3 判定系数是否意味着相应的因果联系 173
4.2.4 注意应用回归模型时研究自变量是否产生变化 173
4.2.5 如何选择回归分析算法 174
4.2.6 代码实操：Python回归分析 174
4.3 分类分析 183
4.3.1 防止分类模型的过拟合问题 183
4.3.2 使用关联算法做分类分析 183
4.3.3 用分类分析来提炼规则、提取变量、处理缺失值 184
4.3.4 类别划分-分类算法和聚类算法都是好手 185
4.3.5 如何选择分类分析算法 186
4.3.6 代码实操：Python分类分析 187
4.4 关联分析 195
4.4.1 频繁规则不一定是有效规则 195
4.4.2 不要被啤酒尿布的故事紧固你的思维 196
4.4.3 被忽略的“负相关”模式真的毫无用武之地吗 197
4.4.4 频繁规则只能打包组合应用吗 198
4.4.5 关联规则的序列模式 199
4.4.6 代码实操：Python关联分析 200
4.5 异常检测分析 206
4.5.1 异常检测中的“新奇检测”模式 207
4.5.2 将数据异常与业务异常相分离 207
4.5.3 面临维度灾难时，异常检测可能会失效 208
4.5.4 异常检测的结果能说明异常吗 208
4.5.5 代码实操：Python异常检测分析 208
4.6 时间序列分析 212
4.6.1 如果有自变量，为什么还要用时间序列 212
4.6.2 时间序列不适合商业环境复杂的企业 213
4.6.3 时间序列预测的整合、横向和纵向模式 214
4.6.4 代码实操：Python时间序列分析 214
4.7 路径、漏斗、归因和热力图分析 234
4.7.1 不要轻易相信用户的页面访问路径 237
4.7.2 如何将路径应用于更多用户行为模式的挖掘？ 237
4.7.3 为什么很多数据都显示多渠道路径的价值很小？ 238
4.7.4 点击热力图真的反映了用户的点击喜好？ 239
4.7.5 为什么归因分析主要存在于线上的转化行为 240
4.7.6 漏斗分析和路径分析有什么区别 240
4.8 其他数据分析和挖掘的忠告 241
4.8.1 不要忘记数据质量的验证 241
4.8.2 不要忽视数据的落地性 242
4.8.3 不要把数据陈列当作数据结论 242
4.8.4 数据结论不要产生于单一指标 244
4.8.5 数据分析不要预设价值立场 244
4.8.6 不要忽视数据与业务的需求冲突问题 245
4.9 内容延伸：非结构化数据的分析与挖掘 246
4.9.1 词频统计 246
4.9.2 词性标注 249
4.9.3 关键字提取 253
4.9.4 文本聚类 255
4.10 本章小结 258
第5章 会员数据化运营 260
5.1 会员数据化运营概述 260
5.2 会员数据化运营关键指标 261
5.2.1 会员整体指标 261
5.2.2 会员营销指标 261
5.2.3 会员活跃度指标 263
5.2.4 会员价值度指标 265
5.2.5 会员终生价值指标 266
5.2.6 会员异动指标 266
5.3 会员数据化运营应用场景 267
5.3.1 会员营销 267
5.3.2 会员关怀 267
5.4 会员数据化运营分析模型 268
5.4.1 会员细分模型 268
5.4.2 会员价值度模型 269
5.4.3 会员活跃度模型 270
5.4.4 会员流失预测模型 271
5.4.5 会员特征分析模型 272
5.4.6 营销响应预测模型 273
5.5 会员数据化运营分析小技巧 274
5.5.1 使用留存分析新用户质量 274
5.5.2 使用AARRR做APP用户生命周期分析 275
5.5.3 借助动态数据流关注会员状态的轮转 276
5.5.4 使用协同过滤算法为新会员分析推送个性化信息 277
5.6 会员数据化运营分析的“大实话” 279
5.6.1 企业“不差钱”，还有必要做会员精准营销吗 279
5.6.2 用户满意度取决于期望和给予的匹配程度 280
5.6.3 用户不购买就是流失了吗 280
5.6.4 来自调研问卷的用户信息可信吗 281
5.6.5 不要盲目相信二八法则 283
5.7 案例：基于RFM的用户价值度分析 283
5.7.1 案例背景 283
5.7.2 案例主要应用技术 284
5.7.3 案例数据 284
5.7.4 案例过程 284
5.7.5 案例数据结论 294
5.7.6 案例应用和部署 295
5.7.7 案例注意点 295
5.7.8 案例引申思考 296
5.8 案例：基于AdaBoost的营销响应预测 297
5.8.1 案例背景 297
5.8.2 案例主要应用技术 297
5.8.3 案例数据 298
5.8.4 案例过程 298
5.8.5 案例数据结论 313
5.8.6 案例应用和部署 313
5.8.7 案例注意点 314
5.8.8 案例引申思考 315
5.9 本章小结 315
第6章 商品数据化运营 317
6.1 商品数据化运营概述 317
6.2 商品数据化运营关键指标 317
6.2.1 销售类指标 317
6.2.2 促销活动指标 320
6.2.3 供应链指标 321
6.3 商品数据化运营应用场景 323
6.3.1 销售预测 323
6.3.2 库存分析 323
6.3.3 市场分析 324
6.3.4 促销分析 324
6.4 商品数据化运营分析模型 325
6.4.1 商品价格敏感度模型 325
6.4.2 新产品市场定位模型 326
6.4.3 销售预测模型 327
6.4.4 商品关联销售模型 327
6.4.5 异常订单检测 328
6.4.6 商品规划的最优组合 328
6.5 商品数据化运营分析小技巧 330
6.5.1 使用层次分析法将定量与定性分析结合 331
6.5.2 通过假设检验做促销拉动分析 333
6.5.3 使用BCG矩阵做商品结构分析 334
6.5.4 巧用4P分析建立完善的商品运营分析结构 336
6.6 商品数据化运营分析的“大实话” 337
6.6.1 为什么很多企业会以低于进价的价格大量销售商品 337
6.6.2 促销活动真的是在促进商品销售吗 339
6.6.3 用户关注的商品就是要买的商品吗 340
6.6.4 提供的选择过多其实不利于商品销售 341
6.7 案例：基于超参数优化的Gradient Boosting的销售预测 341
6.7.1 案例背景 341
6.7.2 案例主要应用技术 341
6.7.3 案例数据 342
6.7.4 案例过程 343
6.7.5 案例数据结论 351
6.7.6 案例应用和部署 351
6.7.7 案例注意点 351
6.7.8 案例引申思考 351
6.8 案例：基于LogisticRegression、RandomForest、Bagging概率投票组合模型的异常检测 352
6.8.1 案例背景 352
6.8.2 案例主要应用技术 352
6.8.3 案例数据 353
6.8.4 案例过程 353
6.8.5 案例数据结论 364
6.8.6 案例应用和部署 364
6.8.7 案例注意点 365
6.8.8 案例引申思考 365
6.9 本章小结 367
第7章 流量数据化运营 369
7.1 流量数据化运营概述 369
7.2 8大流量分析工具 369
7.3 如何选择第三方流量分析工具 372
7.4 流量采集分析系统的工作机制 375
7.4.1 流量数据采集 376
7.4.2 流量数据处理 379
7.4.3 流量数据应用 380
7.5 流量数据与企业数据的整合 381
7.5.1 流量数据整合的意义 381
7.5.2 流量数据整合的范畴 382
7.5.3 流量数据整合的方法 382
7.6 流量数据化运营指标 383
7.6.1 站外营销推广指标 383
7.6.2 网站流量数量指标 385
7.6.3 网站流量质量指标 386
7.7 流量数据化运营应用场景 389
7.7.1 流量采购 389
7.7.2 流量分发 391
7.8 流量数据化运营分析模型 391
7.8.1 流量波动检测 392
7.8.2 渠道特征聚类 393
7.8.3 广告整合传播模型 393
7.8.4 流量预测模型 397
7.9 流量数据化运营分析小技巧 398
7.9.1 给老板提供一页纸的流量dashboard 398
7.9.2 关注趋势、重要事件和潜在因素是日常报告的核心 400
7.9.3 使用从细分到多层下钻数据分析 400
7.9.4 通过跨屏追踪解决用户跨设备和浏览器的访问行为 401
7.9.5 基于时间序列的用户群体过滤 403
7.10 流量数据化运营分析的“大实话” 406
7.10.1 流量数据分析的价值其实没那么大 406
7.10.2 如何将流量的实时分析价值最大化 406
7.10.3 营销流量的质量评估是难点工作 407
7.10.4 个性化的媒体投放仍然面临很多问题 408
7.10.5 传统的网站分析方法到底缺少了什么 409
7.11 案例：基于自动节点树的数据异常原因下探分析 413
7.11.1 案例背景 413
7.11.2 案例主要应用技术 414
7.11.3 案例数据 415
7.11.4 案例过程 416
7.11.5 案例数据结论 430
7.11.6 案例应用和部署 431
7.11.7 案例注意点 432
7.11.8 案例引申思考 432
7.12 案例：基于自动K值的KMeans广告效果聚类分析 433
7.12.1 案例背景 433
7.12.2 案例主要应用技术 433
7.12.3 案例数据 434
7.12.4 案例过程 434
7.12.5 案例数据结论 446
7.12.6 案例应用和部署 447
7.12.7 案例注意点 448
7.12.8 案例引申思考 448
7.13 本章小结 449
第8章 内容数据化运营 451
8.1 内容数据化运营概述 451
8.2 内容数据化运营指标 452
8.3 内容数据化运营应用场景 455
8.4 内容数据化运营分析模型 456
8.4.1 情感分析模型 456
8.4.2 搜索优化模型 457
8.4.3 文章关键字模型 457
8.4.4 主题模型 458
8.4.5 垃圾信息检测模型 459
8.5 内容数据化运营分析小技巧 460
8.5.1 通过AB测试和多变量测试找到最佳内容版本 460
8.5.2 通过屏幕浏览占比了解用户到底看了页面多少内容 461
8.5.3 通过数据分析系统与CMS打通实现个性化内容运营 462
8.5.4 将个性化推荐从网站应用到APP端 466
8.6 内容数据化运营分析的“大实话” 467
8.6.1 个性化内容运营不仅是整合CMS和数据系统 467
8.6.2 用户在着陆页上不只有跳出和继续两种状态 467
8.6.3 “人工组合”的内容运营价值最大化并非不能实现 468
8.6.4 影响内容点击率的因素不仅有位置 469
8.7 案例：基于潜在狄利克雷分配（LDA）的内容主题挖掘 470
8.7.1 案例背景 470
8.7.2 案例主要应用技术 470
8.7.3 案例数据 471
8.7.4 案例过程 471
8.7.5 案例数据结论 480
8.7.6 案例应用和部署 481
8.7.7 案例注意点 481
8.7.8 案例引申思考 481
8.8 案例：基于多项式贝叶斯的增量学习的文本分类 482
8.8.1 案例背景 482
8.8.2 案例主要应用技术 482
8.8.3 案例数据 482
8.8.4 案例过程 483
8.8.5 案例数据结论 491
8.8.6 案例应用和部署 491
8.8.7 案例注意点 491
8.8.8 案例引申思考 492
8.9 本章小结 492
第9章 数据化运营分析的终极秘籍 495
9.1 撰写出彩的数据分析报告的5个建议 495
9.1.1 完整的报告结构 495
9.1.2 精致的页面版式 496
9.1.3 漂亮的可视化图形 498
9.1.4 突出报告的关键信息 500
9.1.5 用报告对象习惯的方式撰写报告 501
9.2 数据化运营支持的4种扩展方式 502
9.2.1 数据API 502
9.2.2 数据模型 503
9.2.3 数据产品 503
9.2.4 运营产品 504
9.3 提升数据化运营价值度的5种途径 504
9.3.1 数据源：不只有结构化的数据，还有文本、图片、视频、语音 504
9.3.2 自动化：建立自动任务，解除重复劳动 505
9.3.3 未卜先知：建立智能预警模型，不要让运营先找你 505
9.3.4 智能化：向BI-AI的方向走 507
9.3.5 场景化：将数据嵌入运营环节之中 507
9.4 本章小结 508
附录 509
附录A 公开数据集 509
附录B Python数据工具箱 516