大数据技术与应用专业规划教材 互联网大数据处理技术与应用PDF电子书下载

第1部分 概述 3

第1章 互联网大数据 3

1.1 从IT走向DT 3

1.1.1 信息化与Web时代 3

1.1.2 大数据时代 5

1.2 互联网大数据及其特点 5

1.3 互联网大数据处理的相关技术 7

1.3.1 技术体系构成 8

1.3.2 相关技术研究 10

1.4 互联网大数据技术的发展 14

1.5 本书内容安排 15

思考题 16

第2部分 互联网大数据的获取 19

第2章 Web页面数据获取 19

2.1 网络爬虫技术概述 19

2.2 爬虫的内核技术 22

2.2.1 Web服务器连接器 23

2.2.2 页面解析器 23

2.2.3 爬行策略搜索 25

2.3 主题爬虫技术 29

2.3.1 主题爬虫模块构成 29

2.3.2 主题定义 30

2.3.3 链接相关度估算 31

2.3.4 内容相关度计算 32

2.4 动态Web页面获取技术 33

2.4.1 动态页面的分类 33

2.4.2 动态页面的获取方法 34

2.4.3 模拟浏览器的实现 35

2.4.4 基于脚本解析的实现 36

2.5 微博信息内容获取技术 37

2.6 DeepWeb数据获取技术 40

2.6.1 相关概念 40

2.6.2 DeepWeb数据获取方法 40

2.7 反爬虫技术与反反爬虫技术 43

2.7.1 反爬虫技术 43

2.7.2 反反爬虫技术 48

2.7.3 爬虫技术的展望 50

思考题 51

第3章 互联网大数据的提取技术 52

3.1 Web页面内容提取技术 52

3.1.1 Web页面内容提取的基本任务 52

3.1.2 Web页面解析方法概述 55

3.1.3 基于HTMLParser的页面解析 56

3.1.4 基于Jsoup的页面解析 60

3.2 基于统计的Web信息抽取方法 64

3.3 其他互联网大数据的提取 65

3.4 阿里云公众趋势分析中的信息提取应用 67

3.5 互联网大数据提取的挑战性问题 70

思考题 70

第3部分 互联网大数据的结构化处理与分析技术 75

第4章 结构化处理技术 75

4.1 互联网大数据中的文本信息特征 75

4.2 中文文本的词汇切分 76

4.2.1 词汇切分的一般流程 76

4.2.2 基于词典的分词方法 77

4.2.3 基于统计的分词方法 79

4.2.4 歧义处理 82

4.3 词性识别 84

4.3.1 词性标注的难点 84

4.3.2 基于规则的方法 85

4.3.3 基于统计的方法 86

4.4 新词识别 88

4.5 停用词的处理 89

4.6 英文中的词形规范化 90

4.7 开源工具与平台 91

4.7.1 开源工具及应用 91

4.7.2 阿里分词器 95

思考题 99

第5章 大数据语义分析技术 100

5.1 语义及语义分析 100

5.2 词汇级别的语义技术 101

5.2.1 词汇的语义关系 102

5.2.2 知识库资源 103

5.2.3 词向量 113

5.2.4 词汇的语义相关度计算 119

5.3 句子级别的语义分析技术 122

5.4 命名实体识别技术 127

5.4.1 命名实体识别的研究内容 127

5.4.2 人名识别方法 128

5.4.3 地名识别方法 129

5.4.4 时间识别方法 130

5.4.5 基于机器学习的命名实体识别 131

5.5 大数据语义分析技术的发展 136

思考题 137

第6章 大数据分析的模型与算法 138

6.1 大数据分析技术概述 138

6.2 特征选择与特征提取 139

6.2.1 特征选择 140

6.2.2 特征提取 143

6.2.3 基于深度学习的特征提取 146

6.3 文本的向量空间模型 149

6.3.1 向量空间模型的维 149

6.3.2 向量空间模型的坐标 150

6.3.3 向量空间模型中的运算 153

6.3.4 文本型数据的逻辑存储结构 154

6.4 文本的概率模型 155

6.4.1 N-gram模型 155

6.4.2 概率主题模型 159

6.5 分类技术 166

6.5.1 分类技术概要 166

6.5.2 经典的分类技术 167

6.6 聚类技术 172

6.7 回归分析 174

6.7.1 回归分析的基本思路 175

6.7.2 线性回归 176

6.7.3 加权线性回归 178

6.7.4 逻辑回归 179

6.8 大数据分析算法的并行化 181

6.8.1 并行化框架 181

6.8.2 矩阵相乘的并行化 184

6.8.3 经典分析算法的并行化 186

6.9 基于阿里云大数据平台的数据挖掘实例 187

6.9.1 网络数据流量分析 187

6.9.2 网络论坛话题分析 193

思考题 196

第7章 大数据隐私保护 197

7.1 隐私保护概述 197

7.2 隐私保护模型 198

7.2.1 隐私泄露场景 198

7.2.2 κ-匿名及其演化 199

7.2.3 1-多元化 205

7.3 位置隐私保护 209

7.4 社会网络隐私保护 211

思考题 215

第8章 大数据技术平台 216

8.1 概述 216

8.2 大数据技术平台的分类 217

8.3 大数据存储平台 217

8.3.1 大数据存储需要考虑的因素 217

8.3.2 HBase 220

8.3.3 MongoDB 221

8.3.4 Neo4j 223

8.3.5 云数据库 224

8.3.6 其他 227

8.4 大数据可视化 229

8.4.1 大数据可视化的挑战 230

8.4.2 大数据可视化方法 231

8.4.3 大数据可视化工具 234

8.5 Hadoop 235

8.5.1 Hadoop概述 235

8.5.2 Hadoop生态圈及关键技术 236

8.5.3 Hadoop的版本 246

8.6 Spark 247

8.6.1 Spark的概述 247

8.6.2 Spark的生态圈 248

8.6.3 SparkSQL 250

8.6.4 Spark Streaming 251

8.6.5 Spark机器学习 252

8.7 阿里云大数据平台 255

8.7.1 飞天系统 255

8.7.2 大数据集成平台 256

思考题 260

第4部分 综合应用 263

第9章 基于阿里云大数据技术的个性化新闻推荐 263

9.1 目的与任务 263

9.2 系统架构 264

9.3 存储设计 264

9.3.1 RDS 265

9.3.2 OSS 266

9.3.3 OTS 266

9.3.4 MaxCompute 268

9.4 软件架构 270

9.4.1 ECS 270

9.4.2 爬虫 272

9.4.3 模型训练 274

9.4.4 分类过程 276

9.4.5 开源代码 276

9.5 阿里云大数据的应用开发 277

9.5.1 开发环境 277

9.5.2 部署 278

9.5.3 运行与测试 279

思考题 283

参考文献 284