第1章 大数据及相关概念 1
1.1 大数据的产生背景 1
1.1.1 物理空间、信息空间与赛博空间 1
1.1.2 赛博空间中的数据爆炸 4
1.1.3 数据量快速增长的原因 5
1.2 大数据和大数据时代 7
1.2.1 大数据定义及属性 7
1.2.2 大数据的深层次含义解读 21
1.2.3 大数据时代的特点 22
1.3 大数据与传统数据的区别 24
1.3.1 从量子力学、复杂系统到大数据 24
1.3.2 主要区别 27
1.4 大数据时代的科学发现之路 31
1.4.1 科学研究方法的更新 32
1.4.2 与传统研究方法的区别 32
1.4.3 “谷歌式”关联研究方法的限制条件及价值 33
1.5 大数据带来的挑战及机遇 35
1.5.1 挑战 35
1.5.2 机遇 39
第2章 大数据理论研究 45
2.1 大数据理论的本质依据 45
2.1.1 因果性和相关性 45
2.1.2 大数据情绪理论 48
2.1.3 理论模型探究 50
2.1.4 大数据理论研究的整体框架 51
2.2 大数据处理流程和技术体系 56
2.2.1 大数据处理的一般流程 56
2.2.2 大数据应用的技术体系 56
第3章 大数据面临的主要问题 68
3.1面向大数据处理流程的主要问题及其相互关系 68
3.2获取问题 70
3.2.1大数据获取 70
3.2.2网络爬虫问题描述 75
3.3存储和管理问题 76
3.3.1信息存储技术和存储系统 77
3.3.2图像压缩编码问题 82
3.4信息检索 84
3.4.1信息检索的基本定义及模型 84
3.4.2文本挖掘及其存在的问题 88
3.5数据挖掘 90
3.5.1数据挖掘产生背景 90
3.5.2数据挖掘问题本质 91
3.5.3大数据环境下的数据挖掘挑战及问题 98
3.6知识发现 102
3.6.1知识发现及其基本步骤 102
3.6.2模式评价 104
3.6.3模式可视化 112
3.6.4 模式评价及优化问题描述 113
第4章 计算智能基础 114
4.1计算智能研究现状及趋势 115
4.2计算智能的定义 119
4.3计算智能体系化分类研究及其混合算法一般性设计 122
4.3.1计算智能分类方法概述 122
4.3.2基于模拟机制的计算智能分类方法 123
4.4有机机制模拟 126
4.4.1基于种群的模拟 126
4.4.2基于个体的模拟 131
4.4.3基于个体模拟的层次结构 141
4.5无机机制模拟 142
4.6人造机制模拟 143
4.7基于SMB的计算智能混合算法一般性设计 144
4.8计算智能混合方法的研究 147
4.8.1模糊神经网 148
4.8.2基于进化计算的模糊建模 168
4.9计算智能的未来探索 169
第5章 计算智能与大数据处理 170
5.1计算智能在数据获取中的应用 170
5.1.1常见的网络爬虫搜索策略 170
5.1.2基于估价函数的启发式搜索策略 171
5.2计算智能在数据存储中的应用 172
5.2.1粒群优化算法 173
5.2.2粒群优化算法的数学抽象和流程 173
5.2.3基于粒群优化的LBG改进算法 174
5.3计算智能在信息检索中的应用 176
5.3.1特征选择 176
5.3.2基于模拟退火的特征选择 178
5.3.3基于禁忌搜索的特征选择 182
5.4计算智能在数据挖掘中的应用 186
5.4.1支持向量机 186
5.4.2模糊聚类及其算法优化方案 192
5.5计算智能在知识发现中的应用 198
5.5.1多维时间序列数据挖掘及其模式表达 198
5.5.2基于GA的模式评价及优化 200
第6章 计算智能在大数据领域的应用前景展望 203
6.1蓬勃发展的大数据 203
6.1.1 Hadoop平台 204
6.1.2 Spark平台 207
6.1.3 NoSQL 208
6.2大数据应用案例 211
6.2.1围棋人工智能程序AlphaGo 211
6.2.2深度问答系统 213
6.2.3互联网企业大数据 218
6.3方兴未艾的计算智能 221
6.3.1大数据分析中的计算智能方法 221
6.3.2存在的问题和进一步的研究方向 228
参考文献 232