IBM SPSS数据分析与挖掘实战案例精粹PDF电子书下载

第一部分 SPSS数据分析基础 3

第1章 数据分析方法论简介 3

1.1 三种数据分析方法论 3

1.1.1 严格设计支持下的统计方法论 3

1.1.2 半试验研究支持下的统计方法论 4

1.1.3 偏智能化、自动化分析的数据挖掘应用方法论 5

1.2 CRISP-DM方法论介绍 6

1.2.1 概述 6

1.2.2 商业理解 8

1.2.3 数据理解 8

1.2.4 数据准备 9

1.2.5 建立模型 9

1.2.6 模型评价 9

1.2.7 结果部署 10

第2章 数据分析方法体系简介 11

2.1 统计软件中的数据存储格式 11

2.1.1 二维数据表 11

2.1.2 变量的存储类型 12

2.1.3 变量的测量尺度 12

2.2 数据的统计描述与参数估计 13

2.2.1 连续变量的统计描述 13

2.2.2 连续变量的参数估计 16

2.2.3 分类变量的统计描述和参数估计 18

2.2.4 统计图形体系 21

2.3 常用假设检验方法 24

2.3.1 假设检验的基本原理 25

2.3.2 单变量假设检验方法 26

2.3.3 双变量假设检验方法 28

2.4 多变量模型 31

2.4.1 方差分析／一般线性模型 31

2.4.2 广义线性模型和混合线性模型 32

2.4.3 回归模型 34

2.4.4 其他常见模型 36

2.5 多元统计分析模型 38

2.5.1 信息浓缩 38

2.5.2 变量间内在关联结构的探讨 38

2.5.3 数据分类 39

2.5.4 分析元素间的关联 41

2.6 智能统计分析／数据挖掘方法 42

2.6.1 树模型 42

2.6.2 神经网络 43

2.6.3 支持向量机 43

2.6.4 贝叶斯网络 44

2.6.5 最近邻元素分析 44

2.6.6 关联规则与序列分析 44

第3章 IBM SPSS Statistics操作入门 46

3.1 案例背景 46

3.2 数据文件的读入与变量整理 47

3.2.1 SPSS的基本操作界面 47

3.2.2 数据准备 49

3.3 问卷数据分析 53

3.3.1 生成频数表 53

3.3.2 计算均值 54

3.3.3 对多选题进行描述 55

3.4 项目总结和讨论 56

第4章 IBM SPSS Statistics操作进阶 57

4.1 案例背景 57

4.1.1 项目背景 57

4.1.2 分析思路 59

4.2 问卷录入 59

4.2.1 开放题的定义 59

4.2.2 单选题的定义 60

4.2.3 多选题的定义 60

4.3 问卷质量校验 62

4.3.1 去除重复记录 62

4.3.2 发现异常值 64

4.3.3 逻辑校验 65

4.4 问卷数据分析 67

4.4.1 问卷加权 67

4.4.2 业务分析 70

4.5 项目总结和讨论 71

第5章 IBM SPSS Modeler操作入门 73

5.1 IBM SPSS Modeler概述 73

5.1.1 IBM SPSS Modeler的界面 73

5.1.2 IBM SPSS Modeler的架构与产品构成 76

5.2 IBM SPSS Modeler相关操作与技巧 77

5.2.1 IBM SPSS Modeler的基本操作 77

5.2.2 IBM SPSS Modeler中的表达式 79

5.2.3 IBM SPSS Modeler的若干使用技巧 79

5.3 IBM SPSS Modeler功能介绍 81

5.3.1 数据整理案例 81

5.3.2 探索性数据分析案例 82

5.3.3 建立模型、模型检验与模型应用案例 83

5.4 案例分析：药物选择决策支持 86

5.4.1 背景介绍 86

5.4.2 数据说明 86

5.4.3 商业理解 87

5.4.4 数据理解 87

5.4.5 数据准备 88

5.4.6 模型建立和评估 89

5.4.7 模型发布 91

5.5 如何进一步学习IBM SPSS Modeler 93

第二部分 影响因素发现与数值预测 97

第6章 酸奶饮料新产品口味测试研究案例 97

6.1 案例背景 97

6.1.1 研究项目概况 97

6.1.2 分析思路与商业理解 98

6.2 数据理解 98

6.2.1 研究设计框架复查 98

6.2.2 均值的列表描述 99

6.2.3 均值的图形描述 101

6.3 不同品牌的评分差异分析 102

6.3.1 单因素方差分析模型简介 103

6.3.2 品牌作用的总体检验 104

6.3.3 组间两两比较 105

6.3.4 方差齐性检验 108

6.4 两因素方差分析模型分析 108

6.4.1 两因素方差分析模型简介 109

6.4.2 拟合包括交互项的饱和模型 110

6.4.3 拟合只包含主效应的模型 111

6.4.4 组间两两比较 112

6.4.5 随机因素分析 114

6.5 分析结论与讨论 116

6.5.1 分析结论 116

6.5.2 Benchmark：用还是不用 116

第7章 偏态分布的激素水平影响因素分析 118

7.1 案例背景 118

7.1.1 研究项目概况 118

7.1.2 分析思路与商业理解 119

7.2 数据理解 119

7.2.1 单变量描述 119

7.2.2 变量关联探索 122

7.3 对因变量变换后的建模分析 127

7.3.1 常见的变量变换方法 127

7.3.2 本案例的具体操作 128

7.4 秩变换分析 131

7.5 利用Cox模型进行分析 132

7.5.1 Cox回归模型的基本原理 133

7.5.2 本案例的具体操作 134

7.6 项目总结与讨论 136

7.6.1 分析结论 136

7.6.2 如何正确选择分析模型 136

第8章 某车企汽车年销量预测案例 138

8.1 案例背景 138

8.1.1 研究项目概况 138

8.1.2 分析思路和商业理解 139

8.2 数据理解 140

8.3 变量变换后的线性回归 142

8.3.1 线性回归模型简介 142

8.3.2 变量变换后拟合线性回归模型 143

8.3.3 模型拟合效果的判断 146

8.3.4 存储预测值和区间估计值 148

8.4 曲线拟合 148

8.4.1 用曲线估计过程同时拟合多个曲线模型 149

8.4.2 模型拟合效果的判断 151

8.4.3 模型的预测 153

8.5 利用非线性回归进行拟合 154

8.5.1 模型简介 154

8.5.2 构建分段回归模型 155

8.5.3 不同模型效果的比较 157

8.6 项目总结与讨论 158

8.6.1 分析结论 158

8.6.2 行走在理想与现实之间 158

第9章 脑外伤急救后迟发性颅脑损伤影响因素分析案例 160

9.1 案例背景 160

9.1.1 研究项目概况 160

9.1.2 分析思路和商业理解 161

9.2 数据理解 161

9.2.1 变量关联的图表描述 161

9.2.2 变量关联的单变量检验 164

9.3 构建二分类Logistic回归模型 167

9.3.1 模型简介 167

9.3.2 初步尝试建模 169

9.3.3 构建最终模型 174

9.4 利用树模型发现交互项 175

9.4.1 模型简介 176

9.4.2 进行树模型分析 178

9.5 使用广义线性过程进行分析 181

9.5.1 模型简介 181

9.5.2 构建仅包括主效应的模型 182

9.5.3 在模型中加入交互项 185

9.6 项目总结与讨论 186

9.6.1 分析结论 186

9.6.2 尺有所短，寸有所长 187

第10章 中国消费者信心指数影响因素分析 188

10.1 案例背景 188

10.1.1 项目背景 188

10.1.2 项目问卷 189

10.1.3 分析思路和商业理解 192

10.2 数据理解 193

10.2.1 考察时间、地域对信心指数的影响 193

10.2.2 考察性别、职业、婚姻状况等对信心指数的影响 195

10.2.3 考察年龄对信心指数的影响 196

10.3 标准GLM框架下的建模分析 197

10.3.1 建立总模型 197

10.3.2 两两比较的结果 200

10.4 多元方差分析模型的结果 202

10.4.1 模型简介 202

10.4.2 拟合多元方差分析模型 203

10.5 最优尺度回归 209

10.5.1 方法简介 210

10.5.2 利用最优尺度回归进行分析 211

10.6 多水平模型框架下的建模分析 214

10.6.1 模型简介 215

10.6.2 针对时间拟合多水平模型 216

10.7 项目总结与讨论 221

10.7.1 分析结论 221

10.7.2 什么时候运用复杂模型来建模 222

第三部分 信息浓缩、分类与感知图呈现 225

第11章 探讨消费者购买保健品的动机 225

11.1 案例背景 225

11.1.1 研究项目概况 225

11.1.2 分析思路和商业理解 227

11.2 数据理解 227

11.2.1 单变量描述 227

11.2.2 变量关联探索 228

11.3 利用因子分析进行信息浓缩 229

11.3.1 模型简介 229

11.3.2 因子分析的具体操作 231

11.4 基于因子分析结果进行市场细分 238

11.4.1 不同婚姻状况受访者的差异 238

11.4.2 不同品牌保健品使用者的因子偏好差异 240

11.5 项目总结与讨论 241

11.5.1 研究结论 241

11.5.2 合理解读因子分析的结果 242

第12章 1988年汉城奥运会男子十项全能成绩分析 244

12.1 案例背景 244

12.1.1 项目概况 244

12.1.2 分析思路和商业理解 245

12.2 数据理解 246

12.2.1 单变量描述 246

12.2.2 变量关联性探索 246

12.2.3 尝试初步建模 247

12.3 利用因子分析进行信息浓缩 249

12.3.1 初步分析 249

12.3.2 因子旋转 252

12.3.3 继续寻找更好的分析结果 253

12.3.4 结果存储与发布 254

12.4 主成分回归 255

12.5 将主成分回归方程还原回原始变量的形式 257

12.6 项目总结与讨论 257

12.6.1 研究结论 257

12.6.2 正确诠释因子的方差解释比例 258

第13章 打败SARS 259

13.1 案例背景 259

13.1.1 研究项目概况 259

13.1.2 分析思路和商业理解 262

13.2 数据理解与数据准备 263

13.2.1 消费者关注的信息 263

13.2.2 突发事件保险产品购买倾向 265

13.2.3 未来消费者生活方式的变化 267

13.3 “非典”信息关注倾向的多维偏好分析 269

13.3.1 模型简介 269

13.3.2 多维偏好分析的SPSS操作 270

13.3.3 尝试初步建模 272

13.3.4 引入更多的背景变量 275

13.4 突发事件险种购买倾向的多重对应分析 278

13.4.1 模型简介 278

13.4.2 简单对应分析 280

13.4.3 多重对应分析 284

13.5 “非典”对未来生活方式的影响 289

13.5.1 采用多维偏好分析进行初步探索 289

13.5.2 换用因子分析进行信息汇总 291

13.6 项目总结与讨论 295

13.6.1 研究结论 295

13.6.2 对多维偏好分析等信息浓缩方法本质的讨论 297

第14章 住院费用影响因素挖掘 299

14.1 案例背景 299

14.1.1 项目概况 299

14.1.2 分析思路／商业理解 302

14.2 数据理解与数据准备 303

14.2.1 费用数据分布 303

14.2.2 变量合并 305

14.2.3 极端值清理 306

14.2.4 病种分布考察 306

14.2.5 变量变换 307

14.3 采用聚类分析寻找费用类型 308

14.3.1 用因子分析汇总信息 308

14.3.2 聚类分析方法简介 310

14.3.3 对费用数据进行聚类分析 312

14.4 住院费用影响因素的神经网络分析 315

14.4.1 模型简介 316

14.4.2 初步尝试用神经网络建模 318

14.4.3 对年龄离散化后重新建模 323

14.4.4 构建双因变量神经网络 325

14.4.5 进一步寻找更清晰的结果解释 327

14.5 不同疗法疗效与费用比较的神经网络分析 328

14.5.1 生成工作用数据集 329

14.5.2 进行神经网络的建模预测 330

14.5.3 模型预测值的比较 332

14.6 项目总结与讨论 334

14.6.1 研究结论 334

14.6.2 数据挖掘方法和经典方法的取舍 335

第四部分 数据挖掘案例精选 339

第15章 淘宝大卖家之营销数据分析 339

15.1 案例背景 339

15.1.1 卖家张三 339

15.1.2 分析思路和商业理解 340

15.2 利用RFM模型定位促销名单 341

15.2.1 RFM模型简介 341

15.2.2 对数据进行RFM模型分析 343

15.3 寻找有重购行为买家的特征 348

15.3.1 数据理解与数据准备 348

15.3.2 利用直销模块寻找重购人群的特征 354

15.4 总结与讨论 356

15.4.1 可使用的其他营销分析方法 356

15.4.2 研究总结 357

第16章 超市商品购买关联分析 358

16.1 案例背景 358

16.1.1 研究背景 358

16.1.2 分析思路和商业理解 358

16.2 数据准备 359

16.3 商品购买关联分析 362

16.3.1 几种典型关联算法介绍 362

16.3.2 商品购买关联分析 364

16.4 结果应用 369

第17章 电信业客户流失分析 370

17.1 案例背景 370

17.2 商业理解 371

17.2.1 如何定义流失 372

17.2.2 哪些变量可用于预测流失 372

17.2.3 如何定义分析用数据的时间窗口 373

17.2.4 如何从分析结果中获取实际收益 374

17.3 数据理解与数据准备 374

17.3.1 分析的数据基础 374

17.3.2 生成数据挖掘宽表 376

17.3.3 数据探索性分析 382

17.4 建立模型与模型评估 390

17.4.1 模型的选择 390

17.4.2 建模思路1：聚类 392

17.4.3 建模思路2：用决策树生成规则集 394

17.4.4 建模思路3：用神经网络生成流失评分 395

17.5 模型的应用及营销预演 399

17.6 总结与讨论 401

17.6.1 研究总结 401

17.6.2 进一步阅读 402

第18章 信用风险评分方法 403

18.1 案例背景 403

18.1.1 引言 403

18.1.2 信用评分的方法 405

18.2 商业理解 406

18.3 数据理解与数据准备 409

18.4 建立模型与模型评估 410

18.4.1 对输入变量分箱 411

18.4.2 用Logistic回归建立信用预测模型 415

18.4.3 生成信用评分模型 417

18.4.4 模型检验 420

18.5 对若干问题的说明 422

18.5.1 拒绝推断 422

18.5.2 模型的监控 423

18.5.3 进一步阅读 424

第19章 医疗保险业的欺诈发现 425

19.1 案例背景 425

19.2 商业理解 426

19.3 数据理解与数据准备 427

19.3.1 数据集概况 427

19.3.2 对数据进行描述 429

19.3.3 对数据源合并的考虑 431

19.4 建立模型 432

19.4.1 进行欺诈发现的若干技术思路和方法 432

19.4.2 模型1：变量对比发现疑似欺诈 434

19.4.3 模型2：通过Benford定律发现疑似欺诈 436

19.4.4 模型3：通过对投保人细分发现疑似欺诈 439

19.4.5 模型4：发现医疗保健机构行为模式异常 441

19.4.6 模型5：使用关联规则发现多个医保机构共用投保人信息 441

19.4.7 模型6：发现异常诊断与处理过程 442

19.5 结果发布 444

19.6 进一步阅读 445

第20章 电子商务中的数据挖掘应用 446

20.1 案例背景 446

20.1.1 引言 446

20.1.2 网络数据分析的分类 447

20.2 数据理解 448

20.2.1 分析的数据基础 448

20.2.2 网络数据的常见来源 450

20.3 数据准备 452

20.3.1 识别访问用户 453

20.3.2 从网络日志中提取有用信息 454

20.3.3 合并网络日志与相关数据 455

20.4 建立模型与模型发布 455

20.4.1 对访问建立模型 456

20.4.2 自动选择模型功能及组合模型的应用 459

20.4.3 对访问者建立模型 462

20.4.4 产品特征模型 464

20.5 进一步阅读 465

附录 469

附录A 本书光盘内容介绍 469

附录B SPSS软件的安装与激活 470

附录C 书中统计方法、模型与知识点索引 472

附录D IBM SPSS Statistics函数一览表 474

附录E IBM SPSS Modeler节点功能简介 485

参考文献 495

后记 498