上篇 大数据理论 3
第1章 大数据的概念和发展背景 3
1.1 大数据的发展背景 3
1.1.1 大数据的产生 3
1.1.2 标志性事件与技术发展 4
1.1.3 国家大数据战略 7
1.2 大数据的概念和特征 10
1.2.1 大数据的概念 10
1.2.2 大数据的特征 11
1.3 大数据背景下的数据类型 16
1.3.1 结构化数据 16
1.3.2 半结构化数据 17
1.3.3 非结构化数据 19
1.4 大数据的潜在价值与机遇 20
1.4.1 大数据重组战略资源 21
1.4.2 大数据推动社会变革 21
1.4.3 大数据引发思维创新 22
1.4.4 大数据促进“大搜索”的发展 23
1.4.5 大数据在质检行业的应用价值 23
1.5 大数据的挑战 24
1.5.1 大数据集成 24
1.5.2 大数据分析 25
1.5.3 大数据隐私问题 27
1.5.4 大数据能耗问题 28
1.5.5 大数据处理与硬件的协同 29
1.5.6 大数据管理易用性问题 31
第2章 大数据时代 34
2.1 大数据时代的概念与特征 34
2.1.1 大数据时代的概念 34
2.1.2 大数据时代的基本特征 36
2.2 大数据时代的发展层次 41
2.2.1 大数据应用的层次 41
2.2.2 大数据当前的发展阶段 44
2.3 大数据时代下的数据思维 47
2.3.1 大数据思维的内容 47
2.3.2 大数据思维变革的方向 51
第3章 大数据技术 55
3.1 大数据技术的架构体系 55
3.1.1 数据集成 56
3.1.2 数据分析 57
3.1.3 计算框架 58
3.1.4 数据存储 60
3.2 大数据平台 61
3.2.1 平台介绍 61
3.2.2 平台特点 64
3.3 数据处理 67
3.3.1 HDFS 68
3.3.2 HBase 71
3.3.3 Hive 73
3.3.4 Zookeeper 75
3.3.5 Sqoop 78
3.3.6 Flume 79
3.3.7 Kafka 81
3.4 计算和存储 82
3.4.1 Storm 82
3.4.2 Spark 85
3.5 分布式编程 88
第4章 大数据应用的一般模式和价值提升 92
4.1 大数据应用的一般模式 92
4.1.1 大数据的产生 92
4.1.2 大数据的聚集 95
4.1.3 大数据的分析 96
4.1.4 大数据的利用 98
4.2 大数据应用的业务价值 101
4.2.1 发现大数据的潜在价值 101
4.2.2 实现大数据整合创新的价值 105
4.2.3 新领域再利用的价值 108
第5章 大数据应用的实践与案例 112
5.1 金融行业——招商银行摩羯智投 113
5.1.1 行业需求 113
5.1.2 大数据在金融行业的应用 114
5.1.3 企业对大数据技术应用案例 115
5.1.4 案例分析与总结 117
5.2 电信行业——中国联通智慧足迹 118
5.2.1 行业需求 118
5.2.2 大数据在电信行业的应用 119
5.2.3 中国联通大数据应用案例 121
5.2.4 案例分析与总结 123
5.3 零售行业——沃尔玛公司案例 125
5.3.1 行业需求 125
5.3.2 大数据在零售业中的应用 126
5.3.3 沃尔玛公司应用大数据案例 127
5.3.4 案例分析与总结 131
5.4 体育行业——SAP案例 132
5.4.1 行业需求 132
5.4.2 大数据在体育行业中的应用 133
5.4.3 SAP公司应用大数据案例 136
5.4.4 案例分析与总结 137
5.5 食品安全监管行业——欧美食品安全溯源系统 138
5.5.1 行业需求 138
5.5.2 大数据在国外食品安全监管行业的应用 138
5.5.3 欧美食品安全溯源系统大数据应用案例 139
5.5.4 案例分析与总结 143
下篇 大数据在质检领域的应用 147
第6章 质检信息化建设情况概述 147
6.1 应用系统 147
6.2 数据资源 148
6.3 标准规范 148
6.4 大数据探索 148
第7章 质检大数据技术支撑服务平台架构设计 150
7.1 总体架构 150
7.2 软、硬件环境 153
7.2.1 硬件环境 153
7.2.2 软件环境 155
7.3 数据采集方案 155
7.3.1 结构化数据的采集 155
7.3.2 非结构化数据的采集 157
7.3.3 动态采集机制设计 159
7.3.4 数据采集关键技术 161
7.3.5 数据的加工处理 161
7.4 数据存储 162
7.5 数据建模方案 163
7.5.1 数据架构设计 163
7.5.2 质检海量数据分析处理 164
7.5.3 数据建模工作流操作平台 173
7.5.4 质检智能知识库 173
7.5.5 个性化信息推送 175
7.5.6 安全策略和等级保护 176
7.6 数据服务 177
7.6.1 查询服务 177
7.6.2 指标分析 177
7.6.3 预警预测 179
7.6.4 算法服务 180
第8章 质检领域大数据分析典型应用案例 185
8.1 大数据分析过程 185
8.2 “12365”热线数据分析案例 186
8.2.1 分析目的和数据说明 186
8.2.2 数据分析结论 189
8.3 质量监督抽查数据分析案例 192
8.3.1 分析目的和数据说明 192
8.3.2 数据分析结论 193
8.4 检验检疫统计数据分析案例 199
8.4.1 进出口商品质量规律分析 199
8.4.2 进出口贸易量变化趋势分析 223
8.4.3 检验检疫施检时间分析 248
8.5 进出口食品、化妆品数据分析案例 265
8.5.1 食品、化妆品进出口贸易额分析 265
8.5.2 国外通报数据分析 278
8.6 电梯物联网数据分析案例 289
8.6.1 背景 289
8.6.2 数据基础 289
8.6.3 数据分析 290
8.7 标准题录数据分析案例 294
8.7.1 数据基础 294
8.7.2 国家标准题录数据分析 295
8.7.3 其他标准题录数据分析 297
第9章 质检领域大数据服务模块研发与数据开放网站设计 300
9.1 应用模块研发 300
9.1.1 领导辅助决策支持 301
9.1.2 “12365”热线信息分析 304
9.1.3 基于互联网的问题产品信息分析 310
9.1.4 质检信息综合查询 312
9.2 数据开放网站设计 314
9.2.1 数据管理设计 314
9.2.2 数据检索设计 314
9.2.3 会员中心设计 315
9.2.4 数据上传设计 315
9.2.5 共享说明设计 315
9.2.6 互动交流设计 315
9.3 平台部署 315
9.3.1 软硬件环境搭建 316
9.3.2 相关业务系统接口开发 316
9.3.3 应用部署 316
参考文献 318