Python数据分析与应用PDF电子书下载

第1章Python数据分析概述 1

任务1.1认识数据分析 1

1.1.1掌握数据分析的概念 2

1.1.2掌握数据分析的流程 2

1.1.3了解数据分析应用场景 4

任务1.2熟悉Python数据分析的工具 5

1.2.1 了解数据分析常用工具 6

1.2.2了解Python数据分析的优势 7

1.2.3了解Python数据分析常用类库 7

任务1.3安装Python的Anaconda发行版 9

1.3.1了解Python的Anaconda发行版 9

1.3.2在Windows系统中安装Anaconda 9

1.3.3在Linux系统中安装Anaconda 12

任务1.4掌握Jupyter Notebook常用功能 14

1.4.1掌握Jupyter Notebook的基本功能 14

1.4.2掌握Jupyter Notebook的高级功能 16

小结 19

课后习题 19

第2章NumPy数值计算基础 21

任务2.1掌握NumPy数组对象ndarray 21

2.1.1创建数组对象 21

2.1.2生成随机数 27

2.1.3通过索引访问数组 29

2.1.4变换数组的形态 31

任务2.2掌握NumPy矩阵与通用函数 34

2.2.1创建NumPy矩阵 34

2.2.2掌握ufunc函数 37

任务2.3利用NumPy进行统计分析 41

2.3.1读／写文件 41

2.3.2使用函数进行简单的统计分析 44

2.3.3任务实现 48

小结 50

实训 50

实训1创建数组并进行运算 50

实训2创建一个国际象棋的棋盘 50

课后习题 51

第3章Matplotlib数据可视化基础 52

任务3.1掌握绘图基础语法与常用参数 52

3.1.1掌握pyplot基础语法 53

3.1.2设置pyplot的动态rc参数 56

任务3.2分析特征间的关系 59

3.2.1绘制散点图 59

3.2.2绘制折线图 62

3.2.3任务实现 65

任务3.3分析特征内部数据分布与分散状况 68

3.3.1绘制直方图 68

3.3.2绘制饼图 70

3.3.3绘制箱线图 71

3.3.4任务实现 73

小结 77

实训 78

实训1分析1996～2015年人口数据特征间的关系 78

实训 2分析1996～2015年人口数据各个特征的分布与分散状况 78

课后习题 79

第4章pandas统计分析基础 80

任务4.1读／写不同数据源的数据 80

4.1.1读／写数据库数据 80

4.1.2读／写文本文件 83

4.1.3读／写Excel文件 87

4.1.4任务实现 88

任务 4.2掌握DataFrame的常用操作 89

4.2.1查看DataFrame的常用属性 89

4.2.2查改增删DataFrame数据 91

4.2.3描述分析DataFrame数据 101

4.2.4任务实现 104

任务4.3转换与处理时间序列数据 107

4.3.1转换字符串时间为标准时间 107

4.3.2提取时间序列数据信息 109

4.3.3加减时间数据 110

4.3.4任务实现 111

任务4.4使用分组聚合进行组内计算 113

4.4.1使用groupby方法拆分数据 114

4.4.2使用agg方法聚合数据 116

4.4.3使用apply方法聚合数据 119

4.4.4使用transform方法聚合数据 121

4.4.5任务实现 121

任务4.5创建透视表与交叉表 123

4.5.1使用pivot table函数创建透视表 123

4.5.2使用crosstab函数创建交叉表 127

4.5.3任务实现 128

小结 130

实训 130

实训1读取并查看P2P网络贷款数据主表的基本信息 130

实训2提取用户信息更新表和登录信息表的时间信息 130

实训3使用分组聚合方法进一步分析用户信息更新表和登录信息表 131

实训4对用户信息更新表和登录信息表进行长宽表转换 131

课后习题 131

第5章 使用pandas进行数据预处理 133

任务5.1合并数据 133

5.1.1堆叠合并数据 133

5.1.2主键合并数据 136

5.1.3重叠合并数据 139

5.1.4任务实现 140

任务5.2清洗数据 141

5.2.1检测与处理重复值 141

5.2.2检测与处理缺失值 146

5.2.3检测与处理异常值 149

5.2.4任务实现 152

任务5.3标准化数据 154

5.3.1离差标准化数据 154

5.3.2标准差标准化数据 155

5.3.3小数定标标准化数据 156

5.3.4任务实现 157

任务5.4转换数据 158

5.4.1哑变量处理类别型数据 158

5.4.2离散化连续型数据 160

5.4.3任务实现 162

小结 163

实训 164

实训1插补用户用电量数据缺失值 164

实训2合并线损、用电量趋势与线路告警数据 164

实训3标准化建模专家样本数据 164

课后习题 165

第6章 使用scikit-learn构建模型 167

任务6.1使用sklearn转换器处理数据 167

6.1.1加载datasets模块中的数据集 167

6.1.2将数据集划分为训练集和测试集 170

6.1.3使用sklearn转换器进行数据预处理与降维 172

6.1.4任务实现 174

任务6.2构建并评价聚类模型 176

6.2.1使用sklearn估计器构建聚类模型 176

6.2.2评价聚类模型 179

6.2.3任务实现 182

任务6.3构建并评价分类模型 183

6.3.1使用sklearn估计器构建分类模型 183

6.3.2评价分类模型 186

6.3.3任务实现 188

任务6.4构建并评价回归模型 190

6.4.1使用sklearn估计器构建线性回归模型 190

6.4.2评价回归模型 193

6.4.3任务实现 194

小结 196

实训 196

实训1使用sklearn处理wine和wine-quality数据集 196

实训2构建基于wine数据集的K-Means聚类模型 196

实训3构建基于wine数据集的SVM分类模型 197

实训4构建基于wine-quality数据集的回归模型 197

课后习题 198

第7章 航空公司客户价值分析 199

任务7.1了解航空公司现状与客户价值分析 199

7.1.1了解航空公司现状 200

7.1.2认识客户价值分析 201

7.1.3熟悉航空客户价值分析的步骤与流程 201

任务7.2预处理航空客户数据 202

7.2.1处理数据缺失值与异常值 202

7.2.2构建航空客户价值分析关键特征 202

7.2.3标准化LRFMC模型的5个特征 206

7.2.4任务实现 207

任务7.3使用K-Means算法进行客户分群 209

7.3.1了解K-Means聚类算法 209

7.3.2分析聚类结果 210

7.3.3模型应用 213

7.3.4任务实现 214

小结 215

实训 215

实训1处理信用卡数据异常值 215

实训2构造信用卡客户风险评价关键特征 217

实训3构建K-Means聚类模型 218

课后习题 218

第8章 财政收入预测分析 220

任务8.1了解财政收入预测的背景与方法 220

8.1.1分析财政收入预测背景 220

8.1.2了解财政收入预测的方法 222

8.1.3熟悉财政收入预测的步骤与流程 223

任务8.2分析财政收入数据特征的相关性 223

8.2.1了解相关性分析 223

8.2.2分析计算结果 224

8.2.3任务实现 225

任务8.3使用Lasso回归选取财政收入预测的关键特征 225

8.3.1了解Lasso回归方法 226

8.3.2分析Lasso回归结果 227

8.3.3任务实现 227

任务8.4使用灰色预测和SVR构建财政收入预测模型 228

8.4.1了解灰色预测算法 228

8.4.2了解SVR算法 229

8.4.3分析预测结果 232

8.4.4任务实现 234

小结 236

实训 236

实训1求取企业所得税各特征间的相关系数 236

实训2选取企业所得税预测关键特征 237

实训3构建企业所得税预测模型 237

课后习题 237

第9章 家用热水器用户行为分析与事件识别 239

任务9.1了解家用热水器用户行为分析的背景与步骤 239

9.1.1分析家用热水器行业现状 240

9.1.2了解热水器采集数据基本情况 240

9.1.3熟悉家用热水器用户行为分析的步骤与流程 241

任务9.2预处理热水器用户用水数据 242

9.2.1删除冗余特征 242

9.2.2划分用水事件 243

9.2.3确定单次用水事件时长阈值 244

9.2.4任务实现 246

任务9.3构建用水行为特征并筛选用水事件 247

9.3.1构建用水时长与频率特征 248

9.3.2构建用水量与波动特征 249

9.3.3筛选候选洗浴事件 250

9.3.4任务实现 251

任务9.4构建行为事件分析的BP神经网络模型 255

9.4.1了解BP神经网络算法原理 255

9.4.2构建模型 259

9.4.3评估模型 260

9.4.4任务实现 260

小结 263

实训 263

实训1清洗运营商客户数据 263

实训2筛选客户运营商数据 264

实训3构建神经网络预测模型 265

课后习题 265

附录A 267

附录B 270

参考文献 295