互联网流量大数据工程PDF电子书下载

第1章 互联网流量大数据背景 1

1.1 网络流量记录与分析 1

1.2 网络流量研究现状 2

1.2.1 网流信息的归档与查询 2

1.2.2 网络流量的归档与查询 3

1.2.3 对研究现状的分析 4

1.3 互联网流量大数据平台 5

1.4 国际前沿进展 8

1.5 小结 9

参考文献 9

第2章 互联网流量测量与带宽管理 11

2.1 流量测量概述 11

2.1.1 Internet流量测量 11

2.1.2 流量测量的难点 12

2.1.3 流量测量的目的 12

2.1.4 网络测量与流量测量 12

2.1.5 流量测量的分类 13

2.1.6 离线测量与实时测量 13

2.2 现有算法研究工作 14

2.2.1 原始记录算法及其存在的问题 14

2.2.2 解决问题的思路 14

2.2.3 采样算法 15

2.2.4 Multi-Stage Filter算法 15

2.2.5 Multi-Resolution Space Code Bloom Filter算法 17

2.2.6 其他算法 18

2.2.7 工业界的解决方案 18

2.2.8 NetFlow介绍 18

2.2.9 NetFlow卡的工作原理 18

2.3 流量管理概述 21

2.3.1 流量管理定义 22

2.3.2 流量控制 23

2.3.3 高速流量管理调度算法比较与分析 24

2.3.4 现有流量管理系统 40

2.3.5 协同式流量管理系统 47

2.4 结束语 49

参考文献 50

第3章 互联网流量档案化 55

3.1 高速网包获取的关键技术 55

3.1.1 网包 55

3.1.2 Linux-NAPI 55

3.1.3 libpcap 56

3.1.4 PF RING 57

3.1.5 Netmap 58

3.1.6 Scap 59

3.2 网包位图索引压缩算法 60

3.2.1 位图索引数据库 60

3.2.2 WAH索引压缩算法 61

3.2.3 PLWAH算法 62

3.2.4 COMPAX算法 63

3.3 流量归档查询系统 64

3.3.1 基于关系数据库的系统实现 64

3.3.2 TM系统 65

3.3.3 TIFA系统实现［14］ 77

3.3.4 TIFAflow系统［15］［16］ 79

3.3.5 NET-FLI流记录压缩与查询系统 85

3.3.6 Hyperion 87

3.4 处理平台展望 90

3.4.1 多核处理平台［17］ 90

3.4.2 GPU方法［18］ 90

3.5 小结 91

参考文献 92

第4章 互联网流量大数据存储 94

4.1 流量大数据-移动互联网增长背景 94

4.2 流量大数据-采集、获取与归集 96

4.3 流量大数据-平台架构及系统实现 98

4.3.1 Hadoop集群 98

4.3.2 HBase集群 99

4.3.3 优化策略 102

4.3.4 HBase与DatabaseX比较 103

4.4 流量大数据-经营与挑战 106

4.4.1 流量大数据经营 106

4.4.2 流量大数据—挑战 110

4.5 流量大数据—总结 111

参考文献 112

第5章 互联网流量攻击检测关键技术 113

5.1 网包处理流程 113

5.1.1 系统结构 113

5.1.2 功能模块图 118

5.1.3 多核组织模式 118

5.2 多模匹配算法概述 119

5.2.1 Bloom Filter算法及其改进 119

5.2.2 AC算法及其改进 119

5.2.3 BM算法的推广型 120

5.3 基于Bloom Filter的匹配引擎 120

5.3.1 Bloom Filter算法 120

5.3.2 参数选择 121

5.3.3 散列函数选择 122

5.4 基于HBM算法的匹配引擎 123

5.4.1 记号和假设 123

5.4.2 BM算法回顾 123

5.4.3 HBM算法概述 124

5.4.4 HBM算法的初始化流程 126

5.4.5 HBM算法运行流程 131

5.4.6 HBM算法在多核平台上的优化 132

5.4.7 HBM算法的证明与分析 134

5.5 实验与分析 145

5.5.1 实验环境 145

5.5.2 基于Bloom Filter算法的引擎性能 145

5.5.3 基于HBM算法的引擎性能 147

5.6 本章小结和展望 149

参考文献 150

第6章 互联网流量攻击检测实例 152

6.1 数据中心的服务监测 152

6.2 互联网服务访问行为分析 153

6.3 互联网服务抗DDoS攻击 154

6.4 互联网安全实时对抗 156

6.5 网络攻击检测与流式处理 158

6.5.1 Twitter Storm流计算 158

6.5.2 Yahoo ！ S4分布式流计算平台 159

6.5.3 Facebook DataFreeway/Puma3 159

6.5.4 Apache Spark平台 160

参考文献 160

第7章 互联网化软件流量行为分析 162

7.1 安全软件简介 162

7.2 测试方案 163

7.2.1 测试环境 163

7.2.2 测试方法 164

7.3 网络流量分析 164

7.3.1 流量包进行统计 164

7.3.2 网络行为频率分析 166

7.3.3 网络行为数目分析 168

7.3.4 网络行为间隔累积分布对比 170

7.3.5 朱雀网络行为分析 170

7.3.6 玄武网络行为分析 173

7.3.7 远程通信地址分析 174

7.4 流量分析结论 176

参考文献 179

附录A联通大数据平台流量记录格式 181

附录B 联通大数据平台测试环境 183