大数据应用分析技术与方法PDF电子书下载

第1章 大数据是信息社会的宝贵资源 1

1.1大数据产生的背景和概念 1

1.2大数据的特征 3

1.3大数据与传统数据的区别 4

1.4大数据的价值和开发应用 5

1.5大数据时代的新机遇和新挑战 8

1.5.1依据大数据进行决策成为一种新的决策方式 8

1.5.2大数据与各行业深度融合带来层出不穷的新应用 8

1.5.3大数据推动新技术的不断涌现 9

1.6本书的特定视野 10

参考文献 11

第2章 大数据应用分析 12

2.1大数据的处理流程 12

2.2大数据分析的概念 14

2.3大数据分析的关键技术 15

2.3.1云计算 15

2.3.2数据分析方法 16

2.3.3数据可视化 17

2.4大数据分析工具介绍 17

2.4.1 Hadoop 18

2.4.2 R 19

2.4.3 Python 19

2.4.4 RapidMiner 20

2.4.5 Tableau 20

2.5大数据分析示例——查处虚假出口贸易 22

2.5.1案例概述 22

2.5.2查询分析 23

2.5.3可视化分析 25

2.5.4分析小结 27

参考文献 30

第3章 常用数据分析与预测方法 31

3.1方差分析 31

3.1.1分析方法 31

3.1.2示例介绍 31

3.1.3示例分析 33

3.1.4结果分析与总结 35

3.2相关分析 35

3.2.1分析方法 35

3.2.2示例介绍 36

3.2.3示例分析 37

3.2.4结果分析与总结 40

3.3回归分析 40

3.3.1分析方法 40

3.3.2示例介绍 41

3.3.3示例分析 41

3.3.4结果分析与总结 42

3.4时间序列分析 44

3.4.1平稳性检验 44

3.4.2纯随机性检验 44

3.4.3适用性检测 44

3.5聚类分析 45

3.6可视化数据分析 46

3.6.1常用的可视化数据展示方法 47

3.6.2可视化分析示例 51

3.7环境准备 61

参考文献 62

第4章 大数据分析的思维特征 63

4.1大数据应用分析的实务框架 63

4.1.1大数据应用分析的四个层面 63

4.1.2四个层面的关系 65

4.2大数据分析的特征发现 65

4.2.1特征发现的案例 66

4.2.2特征发现的概念 73

4.3对数据的分类 73

4.4特征发现的一般过程 79

参考文献 81

第5章 大数据的可视化分析 82

5.1不良贷款分析 82

5.1.1数据准备 82

5.1.2各银行的不良贷款情况分析 86

5.1.3各经济类型的企业的不良贷款情况分析 95

5.1.4各类贷款的不良贷款情况分析 99

5.2保险公司客户索赔分析 103

5.2.1数据准备 103

5.2.2数据分析 104

参考文献 119

第6章 可视化挖掘分析 120

6.1挖掘分析在审计线索特征发现中的应用 120

6.1.1案例背景 120

6.1.2数据准备 120

6.1.3聚类分析 122

6.2挖掘分析在推荐系统中的应用 131

6.2.1案例背景 131

6.2.2数据准备 131

6.2.3构建推荐系统 132

第7章 大数据资源的元数据管理 140

7.1元数据简介 140

7.1.1元数据和对象数据 140

7.1.2应用元数据管理技术的意义 140

7.2著录对象分析 142

7.2.1审计中间表 142

7.2.2审计分析模型 142

7.2.3审计专家经验 143

7.2.4审计情景案例 144

7.2.5被审计单位资料 144

7.3元数据结构设计 145

7.3.1审计中间表的元数据结构 145

7.3.2审计分析模型的元数据结构 146

7.3.3审计专家经验的元数据结构 147

7.3.4审计情景案例的元数据结构 149

7.3.5被审计单位资料的元数据结构 150

7.4应用大数据审计分析数字信息元数据规范的扩展规则 151

参考文献 152

第8章 大数据分析的数据清洗 153

8.1大数据清洗的基本概念 153

8.1.1大数据清洗的基本架构 153

8.1.2数据清洗的基本步骤 154

8.2数据清洗 157

8.2.1数据清洗的一些注意事项 157

8.2.2常见的数据清洗 158

参考文献 163

第9章 大数据分析的风险与对策 164

9.1大数据分析的风险及产生原因 164

9.2大数据采集的风险 165

9.3大数据处理与集成的风险 167

9.4大数据分析的风险 168

9.5大数据解释的风险 168

9.6大数据的隐私和安全风险及其对策 169

9.6.1大数据处理流程的隐私风险 170

9.6.2大数据处理平台带来的安全和隐私风险 172

9.6.3保护大数据隐私和安全的对策 173

参考文献 175

第10章 大数据治理简介 177

10.1大数据治理的必要性 177

10.2大数据治理的概念 178

10.3大数据治理的核心内容 180

10.4案例 181

10.4.1工作思路 182

10.4.2数据真实性的验证方法 182

10.4.3数据完整性的验证 186

参考文献 187

附录A Tableau 10.0简介 188

A.1 Tableau工作区 188

A.1.1工作表工作区 189

A.1.2仪表板工作区 190

A.1.3故事工作区 191

A.2 Tableau的文件管理 192

附录B RapidMiner使用方法简介 194

B.1 RapidMiner的主界面 194

B.2使用RapidMiner分析数据的方法 195