第1章 Python编程基础 1
1.1 Python系统配置 1
1.2 Python基础知识 5
1.2.1 帮助 6
1.2.2 标识符 6
1.2.3 行与缩进 7
1.2.4 变量与对象 7
1.2.5 数字与表达式 9
1.2.6 运算符 10
1.2.7 字符串 11
1.2.7.1 转义字符 11
1.2.7.2 字符串格式化 12
1.2.7.3 字符串的内置方法 13
1.2.8 日期和时间 17
1.3 数据结构与序列 18
1.3.1 列表 19
1.3.1.1 列表索引和切片 19
1.3.1.2 列表操作 20
1.3.1.3 内置列表函数 20
1.3.1.4 列表方法 21
1.3.2 元组 22
1.3.3 字典 23
1.3.4 集合 24
1.3.5 推导式 26
1.4 语句与控制流 27
1.4.1 条件语句 27
1.4.2 循环语句 28
1.4.2.1 while循环 28
1.4.2.2 for循环 29
1.4.2.3 循环控制 30
1.5 函数 30
1.5.1 函数的参数 32
1.5.2 全局变量与局部变量 32
1.5.3 匿名函数 33
1.5.4 递归和闭包 33
1.5.5 柯里化与反柯里化 35
1.5.6 常用的内置函数 36
1.5.6.1 filter函数 36
1.5.6.2 map函数 36
1.5.6.3 reduce函数 37
1.6 迭代器、生成器和装饰器 37
1.6.1 迭代器 37
1.6.2 生成器 38
1.6.3 装饰器 40
1.7 类 42
1.7.1 声明类 42
1.7.2 方法 44
1.7.2.1 实例方法 44
1.7.2.2 类方法 45
1.7.2.3 静态方法 46
1.7.3 属性 47
1.7.3.1 实例属性和类属性 47
1.7.3.2 私有属性和公有属性 48
1.7.4 继承 49
1.7.4.1 隐式继承 49
1.7.4.2 显式覆盖 50
1.7.4.3 super继承 51
1.7.4.4 多态 52
1.7.4.5 多重继承 54
1.8 模块 54
1.9 包 55
1.10 文件I/O 55
第2章 数据预处理 59
2.1 numpy基础 59
2.1.1 向量 61
2.1.2 数组 62
2.1.2.1 数据类型与结构数组 63
2.1.2.2 索引与切片 64
2.1.2.3 数组的属性 68
2.1.2.4 数组排序 69
2.1.2.5 数组维度 70
2.1.2.6 数组组合 72
2.1.2.7 数组分拆 75
2.1.2.8 ufunc运算 76
2.1.3 矩阵 81
2.1.4 文件读写 81
2.2 pandas基础 82
2.2.1 pandas的数据结构 83
2.2.1.1 Series 83
2.2.1.2 DataFrame 87
2.2.2 pandas的数据操作 96
2.2.2.1 排序 96
2.2.2.2 排名 98
2.2.2.3 运算 100
2.2.2.4 函数应用与映射 101
2.2.2.5 分组 102
2.2.2.6 合并 103
2.2.2.7 分类数据 106
2.2.2.8 时间序列 107
2.2.2.9 缺失值处理 116
第3章 数据描述 122
3.1 统计量 122
3.1.1 集中趋势 122
3.1.1.1 均值 123
3.1.1.2 中位数 124
3.1.1.3 分位数 125
3.1.1.4 众数 125
3.1.2 离散程度 126
3.1.2.1 极差 126
3.1.2.2 四分位差 127
3.1.2.3 方差和标准差 127
3.1.2.4 协方差 128
3.1.2.5 变异系数 128
3.1.3 分布形状 128
3.1.3.1 偏度 129
3.1.3.2 峰度 129
3.2 统计表 130
3.2.1 统计表的基本要素 130
3.2.2 统计表的编制 131
第4章 统计图形与可视化 135
4.1 matplotlib基本绘图 135
4.1.1 函数绘图 135
4.1.2 图形基本设置 140
4.1.2.1 创建图例 140
4.1.2.2 刻度设置 141
4.1.2.3 图像注解 142
4.1.2.4 图像大小 143
4.1.2.5 创建子图 144
4.1.2.6 其他绘图函数 145
4.1.3 面向对象绘图 146
4.1.4 绘图样式 148
4.2 pandas基本绘图 148
4.3 基本统计图形 150
4.3.1 折线图 150
4.3.2 面积图 153
4.3.3 直方图 153
4.3.4 条形图 155
4.3.5 龙卷风图 158
4.3.6 饼图 159
4.3.7 阶梯图 160
4.3.8 盒须图 161
4.3.9 小提琴图 163
4.3.10 散点图 164
4.3.11 气泡图 166
4.3.12 六边形箱图 167
4.3.13 雷达坐标图 168
4.3.14 轮廓图 169
4.3.15 调和曲线图 169
4.3.16 等高线图 170
4.3.17 极坐标图 170
4.3.18 词云图 171
4.3.19 数据地图 174
4.4 其他绘图工具 176
第5章 简单统计推断 178
5.1 常用数据分析工具库 178
5.1.1 scipy 178
5.1.2 statsmodels 179
5.1.3 sklearn 180
5.2 简单统计推断的基本原理 180
5.2.1 数据分布 180
5.2.1.1 总体分布 181
5.2.1.2 样本分布 181
5.2.1.3 抽样分布 181
5.2.2 参数估计 183
5.2.2.1 点估计 184
5.2.2.2 区间估计 184
5.2.3 假设检验 185
5.2.3.1 假设检验的基本思想 185
5.2.3.2 假设检验基本步骤 186
5.2.3.3 假设检验中总体的几种不同情况 187
5.3 单总体参数的估计及假设检验 189
5.3.1 单总体的参数估计 189
5.3.1.1 单总体均值的参数估计 189
5.3.1.2 单总体方差、标准差的参数估计 190
5.3.1.3 单总体比例的参数估计 191
5.3.2 单总体参数的假设检验 191
5.3.2.1 总体均值的假设检验 191
5.3.2.2 总体比例的假设检验 194
5.4 两总体参数的假设检验 194
5.4.1 独立样本的假设检验 195
5.4.1.1 独立样本均值之差的假设检验 195
5.4.1.2 独立样本比例之差的假设检验 197
5.4.2 成对样本的假设检验 198
第6章 方差分析 201
6.1 方差分析的基本原理 201
6.2 一元方差分析 205
6.2.1 一元单因素方差分析 205
6.2.1.1 方差同质性检验 206
6.2.1.2 方差来源分解及检验过程 206
6.2.1.3 多重比较检验 207
6.2.1.4 方差分析模型的参数估计和预测 208
6.2.1.5 方差分析模型的预测 210
6.2.2 一元多因素方差分析 210
6.2.2.1 只考虑主效应的多因素方差分析 211
6.2.2.2 存在交互效应的多因素方差分析 215
6.3 协方差分析 217
第7章 非参数检验 220
7.1 非参数检验的基本问题 220
7.2 单样本非参数检验 221
7.2.1 中位数(均值)的检验 221
7.2.2 分布的检验 223
7.2.3 游程检验 224
7.3 两个样本的非参数检验 225
7.3.1 独立样本中位数比较的Wilcoxon秩和检验 225
7.3.2 独立样本的分布检验 227
7.3.3 成对(匹配)样本中位数的检验 228
7.3.4 两样本的游程检验 228
7.4 多个样本的非参数检验 229
7.4.1 多个样本的分布检验 229
7.4.2 独立样本位置的检验 230
第8章 相关分析与关联分析 233
8.1 相关分析 233
8.1.1 函数关系与相关关系 233
8.1.2 简单相关分析 234
8.1.2.1 用图形描述相关关系 234
8.1.2.2 用相关系数测度相关关系 235
8.1.2.3 相关系数的显著性检验 236
8.1.3 偏相关分析 238
8.1.4 点二列相关分析 239
8.1.5 非参数相关分析 240
8.1.5.1 Spearman相关系数 240
8.1.5.2 Kendall tau-b系数 241
8.1.5.3 Hoeffding’s D系数 241
8.2 关联分析 243
8.2.1 基本概念与数据预处理 243
8.2.2 Apriori算法 245
8.2.3 FP-growth算法 249
第9章 回归分析 251
9.1 线性回归 251
9.1.1 回归分析的基本原理 251
9.1.1.1 参数估计的普通最小二乘法 253
9.1.1.2 回归方程的检验及模型预测 254
9.1.2 一元线性回归 255
9.1.3 多元线性回归 262
9.1.4 含有定性自变量的线性回归 266
9.2 非线性回归 270
9.2.1 可线性化的非线性分析 270
9.2.2 非线性回归模型 273
9.3 多项式回归 276
9.4 分位数回归 279
第10章 离散因变量模型 285
10.1 线性概率模型 285
10.2 二元选择模型 287
10.2.1 线性概率模型的缺陷与改进 287
10.2.2 二元选择模型的基本原理 287
10.2.2.1 模型构建和参数估计过程 288
10.2.2.2 模型检验 289
10.2.3 BINARY PROBIT模型 289
10.2.4 BINARY LOGIT模型 293
10.3 多重选择模型 295
10.4 计数模型 298
第11章 主成分与因子分析 301
11.1 数据降维 301
11.1.1 数据降维的基本问题 302
11.1.2 数据降维的基本原理 302
11.2 主成分分析 303
11.2.1 主成分分析的基本概念与原理 303
11.2.2 主成分分析的基本步骤和过程 304
11.3 因子分析 313
11.3.1 因子分析的基本原理 313
11.3.1.1 因子分析模型 313
11.3.1.2 因子旋转 314
11.3.1.3 因子得分 314
11.3.2 因子分析的基本步骤和过程 315
第12章 列联分析与对应分析 326
12.1 列联分析 326
12.1.1 列联表 326
12.1.2 列联表的分布 329
12.1.3 X2分布与X2检验 330
12.1.4 X2分布的期望值准则 331
12.2 对应分析 332
12.2.1 对应分析的基本思想 332
12.2.2 对应分析的步骤和过程 333
12.2.2.1 概率矩阵p 333
12.2.2.2 数据点坐标 333
12.2.2.3 行列变量分类降维 335
12.2.2.4 对应分析图 335
第13章 聚类 345
13.1 聚类的基本原理 345
13.1.1 聚类的基本原则 346
13.1.2 单一指标的系统聚类过程 347
13.1.3 多指标的系统聚类过程 349
13.2 聚类的步骤和过程 354
13.2.1 系统聚类 354
13.2.2 K-MEANS聚类 360
13.2.3 DBSCAN聚类 361
第14章 判别和分类 363
14.1 判别和分类的基本思想 363
14.2 常用判别方法和分类算法 364
14.2.1 距离判别和线性判别 364
14.2.2 贝叶斯判别 371
14.2.3 k-近邻 373
14.2.4 决策树 375
14.2.5 随机森林 380
14.2.6 支持向量机 381
第15章 时间序列分析 384
15.1 时间序列的基本问题 384
15.1.1 时间序列的组成部分 384
15.1.2 时间序列的平稳性 386
15.1.2.1 平稳性的含义 386
15.1.2.2 时间序列的零均值化和平稳化 387
15.1.2.3 时间序列的平稳性检验 387
15.2 ARIMA模型的分析过程 390
15.2.1 ARIMA模型 391
15.2.1.1 AR模型 391
15.2.1.2 MA模型 391
15.2.1.3 ARMA模型 392
15.2.2 ARMA模型的识别、估计与预测 392
15.2.2.1 模型的识别 392
15.2.2.2 模型参数估计及检验 395
15.2.2.3 模型的预测 398
附录:各章图形 401