第1章 大数据现象的观察与分析 1
第一节 大数据现象的源起与发展 1
一、20世纪80年代至90年代中期：认知大数据的萌芽阶段 1
二、20世纪90年代中期到21世纪前10年：大数据受到广泛关注 2
三、2010年至今：大数据战略应用被提上日程并迅速发展 3
第二节 对大数据现象的描述及观点 6
一、信息技术企业、咨询机构的观点 6
二、统计与数据专家、学者的观点 8
第三节 与大数据相关的几个问题 9
一、推动大数据发展的主体 9
二、大数据现象形成的客观条件 10
三、大数据数据量大的涵义 11
四、大数据与传统数据的区别 12
五、大数据的过滤与价值提取 14
第四节 大数据的特征和意义 15
一、大数据的特征 15
二、大数据的意义 17
第五节 大数据隐私与安全 20
一、大数据面临的几种风险 20
二、对大数据信息安全的管理 23
第2章 大数据在国内外统计中的应用实践 30
第一节 大数据在价格统计中的应用 30
一、美国的每日网上价格指数 31
二、淘宝网价格指数 31
三、基于Twitter数据对价格的调查 38
四、利用超市、商场和卖场的商品结算信息实现CPI采价 38
五、利用谷歌搜索数据计算CPI 43
第二节 大数据在就业统计中的应用 45
一、联合国基于博客、论坛和新闻等媒体信息进行失业调查 45
二、澳大利亚的在线职业空缺信息应用 46
三、谷歌利用搜索解析平台预测失业 46
第三节 大数据在经济活动分析和预测中的应用 48
一、基于百度搜索数据的消费者信心指数编制 48
二、利用谷歌搜索解析平台预测汽车销售市场走向 50
三、利用谷歌搜索解析平台预测GDP 53
第四节 大数据在其他专业统计中的应用 57
一、大数据在人口统计中的应用 57
二、大数据在交通运输统计中的应用 58
三、大数据在公共卫生统计中的应用 60
四、大数据在商业零售服务统计中的应用 63
五、大数据在证券行业预测中的应用 65
六、大数据在网络社交统计中的应用 69
七、大数据在气象统计中的应用 69
第3章 大数据环境下政府统计的发展及新趋势 74
第一节 统计学和政府统计的发展历史概述 75
一、统计学的发展与演进 75
二、政府统计的建立与发展 77
三、政府统计的主要内容、数据来源和统计标准 79
四、政府统计的主要特征 80
第二节 中国政府统计的现状、发展与改革 80
一、中国政府统计的建立与发展 80
二、中国政府统计工作的现状 83
三、中国政府统计近期实施的重大改革 86
第三节 大数据背景下政府统计发展新趋势 91
一、大数据将促进统计科学的发展 91
二、大数据将促进统计法律的健全 92
三、大数据将促进统计标准的规范 93
四、大数据将促进数据来源的丰富 95
五、大数据将促进管理职能的转变 100
第4章 大数据背景下政府统计生产方式的变革 103
第一节 制度设计阶段 104
一、统计标准 105
二、统计内容 105
三、统计指标 106
四、统计范围 106
五、统计方法 107
第二节 数据采集阶段 108
一、搜索方式 109
二、购买方式 109
三、合作方式 110
第三节 数据处理阶段 111
一、直接组织数据处理 111
二、从简单汇总向数据挖掘方向转变 112
三、加工整理非结构化数据 112
第四节 数据存储阶段 113
一、建立国家统计云 113
二、虚拟化的云存储 114
三、数据备份与容灾系统 114
四、加工整理过程更加智能化 114
第五节 数据质量评估阶段 115
一、准确性 115
二、及时性 115
三、可比性 116
四、一致性 116
五、适用性 116
六、可获得性 117
七、经济性 117
第六节 数据发布与传播阶段 118
一、发布时间更加及时 118
二、发布媒介更加多样 118
三、发布内容更加丰富 119
四、发布形式更加灵活 119
第七节 数据分析阶段 120
一、实时分析 120
二、关联分析 121
三、可视化分析 123
第5章 大数据在部分专业统计中的应用探索 125
第一节 基本单位统计 127
一、数据来源和统计方法 127
二、可行性分析 127
第二节 价格统计 128
一、CPI统计 128
二、PPI统计 131
三、房价统计 134
第三节 工业统计 135
第四节 劳动力市场监测 138
第五节 人口普查 143
第六节 流动人口统计 145
第七节 农业统计 147
第八节 批发零售业统计 150
第九节 交通运输统计 151
第十节 收入统计 153
第十一节 工资统计 154
第十二节 主要产量指标预测 156
一、GDP预测 156
二、煤炭产量预测 158
第6章 政府统计应用大数据的技术环境 161
第一节 大数据技术概述 162
第二节 大数据的采集技术 164
一、方便可靠的终端采集 164
二、智能分流的语音采集 164
三、穿透灵活的电子数据源采集 165
第三节 大数据的处理技术 165
一、技术路线分析 166
二、计算架构设计 172
第四节 大数据的存储管理 174
一、分布式云资源池 174
二、云资源池主机 174
三、云资源池存储 175
第五节 大数据的信息安全要求 176
一、终端的安全应用 178
二、配套的等级保护措施 179
第7章 应对大数据的几点对策 180
第一节 积极提高认识，树立大数据发展的新思维 180
第二节 完善法律法规，加强大数据应用法制保障 181
第三节 推动统计改革，重塑政府统计的生产流程 182
第四节 加强技术攻关，开发搜集工具和关联软件 184
第五节 强化培训交流，大力培养新型复合型人才 184
第六节 制定发展战略，推动大数据应用持续深入 185
参考文献 187
后记 192