互联网流测量PDF电子书下载

1 互联网流测量概述 1

1.1 流量测量的必要性 1

1.2 网络测量技术 2

1.2.1 主动测量技术 2

1.2.2 被动测量技术 3

1.2.3 测量体系结构 4

1.2.4 抽样测量技术 4

1.3 互联网流测量技术 6

1.3.1 互联网流的定义 6

1.3.2 IP流特性描述 6

1.3.3 IP流测量研究 7

1.3.4 IP流特性研究 9

1.4 流量统计行为的研究 13

1.4.1 统计行为研究状况 13

1.4.2 流量自相似模型 13

1.4.3 网络流量预测模型 14

参考文献 15

2 测量统计数学基础 20

2.1 抽样理论 20

2.1.1 简单随机抽样 20

2.1.2 样本容量确定 21

2.1.3 分层抽样 21

2.1.4 整群抽样 22

2.2 概率论 22

2.2.1 概率空间 22

2.2.2 条件概率 23

2.2.3 大数定理和中心极限定理 23

2.3 估计理论 25

2.3.1 回归系统的最小二乘估计 25

2.3.2 极大似然估计 26

2.3.3 EM算法 27

2.4 研究结论与展望 27

参考文献 27

3 基于分组标识的抽样测量模型 28

3.1 引言 28

3.1.1 问题提出 28

3.1.2 相关研究 28

3.1.3 研究难点 29

3.2 抽样模型概念 29

3.2.1 概念定义 29

3.2.2 抽样测量模型 30

3.3 流量比特随机性分析 31

3.3.1 IP报头位熵分析 31

3.3.2 位流熵分析 33

3.4 测量样本随机性分析 35

3.4.1 抽样模型随机性分析 36

3.4.2 抽样样本统计属性分析 36

3.4.3 不同测量点的标识字段随机性比较 37

3.5 基于标识字段的多掩码抽样算法 39

3.5.1 标识字段属性分析 39

3.5.2 模型描述 40

3.5.3 抽样算法 41

3.5.4 改进算法 43

3.6 基于标识字段的抽样算法性能比较 46

3.6.1 基于标识字段的其他算法 46

3.6.2 性能比较 46

3.6.3 改进抽样算法和随机算法的比较 47

3.7 误差修正 48

3.7.1 标识0的误差修正算法 48

3.7.2 标识0抽样比率预测模型 49

3.8 研究结论和展望 51

参考文献 52

4 基于互联网流的哈希算法 53

4.1 引言 53

4.2 测度定义 53

4.2.1 随机性 53

4.2.2 均匀性 54

4.2.3 冲突性 55

4.2.4 活跃流评估 55

4.2.5 计算速度 56

4.3 比特随机运算的分析 56

4.3.1 二元比特运算分析 56

4.3.2 异或运算分析 57

4.3.3 位移运算分析 59

4.4 哈希算法 59

4.4.1 异或位移哈希算法 60

4.4.2 IPSX哈希算法 60

4.4.3 CRC32哈希算法 60

4.4.4 Bob哈希算法 60

4.4.5 MD5哈希算法 61

4.5 哈希算法比较分析 61

4.5.1 随机性比较 61

4.5.2 卡方检验 62

4.5.3 冲突率的比较 62

4.5.4 活跃流评估 63

4.5.5 速度比较 64

4.6 研究结论与展望 64

参考文献 65

5 互联网流长度估计方法 66

5.1 引言 66

5.1.1 问题提出 66

5.1.2 相关研究 67

5.1.3 研究难点 67

5.2 基于概率模型的流长度估计 68

5.2.1 原始流长度分布概率模型 68

5.2.2 最大概率法估计模型 70

5.2.3 不同分布估计的比较 72

5.3 流长度分布估计 73

5.3.1 流分类 73

5.3.2 长流估计 74

5.3.3 短流估计 75

5.4 实验分析 77

5.5 研究结论和展望 79

参考文献 80

6 自适应超点检测方法 82

6.1 引言 82

6.2 相关研究 82

6.3 自适应超点检测算法 84

6.3.1 算法概述 84

6.3.2 更新过程 85

6.3.3 自适应过程 88

6.4 算法空间分析 91

6.4.1 Bitmap内存空间 91

6.4.2 IP哈希链表内存空间 92

6.5 SDAS算法实验分析 93

6.5.1 实验说明 93

6.5.2 算法性能比较 94

6.5.3 自适应超点检测算法性能分析 97

6.6 研究结论与展望 100

参考文献 100

7 流量行为测度研究 102

7.1 引言 102

7.2 流量行为属性 103

7.2.1 流量统计属性 103

7.2.2 端至端性能属性 104

7.3 总体目标量函数 104

7.4 统计分布函数 105

7.4.1 流量总体和样本 105

7.4.2 流量数据分组 106

7.4.3 统计测度函数 107

7.5 网络行为测度形式化定义 109

7.6 研究结论与展望 112

8 高速网络流量统计行为研究 113

8.1 引言 113

8.2 基于抽样流量的流统计估计 114

8.2.1 抽样流定义 114

8.2.2 抽样流超时分析 114

8.2.3 报文抽样与流的关系 116

8.3 流统计行为分析研究 118

8.3.1 流定义 118

8.3.2 流的时间序列行为 119

8.3.3 流的总体特性 121

8.3.4 单向流的安全测度 122

8.3.5 双向流的性能特性 123

8.4 流数据的摘要存储 124

8.4.1 等概率流抽样方案 124

8.4.2 放回不等概率流抽样方案 125

8.4.3 不放回不等概率流抽样方案 127

8.4.4 实例分析 128

8.5 流量统计特性分析 129

8.5.1 流量统计研究概述 129

8.5.2 流量总体特性描述 130

8.5.3 IP报文统计特性 131

8.5.4 TCP协议统计分析 132

8.5.5 UDP流量统计规律 134

8.5.6 ICMp流量统计 135

8.6 研究结论与展望 135

参考文献 136

9 互联网流长度分布分析 137

9.1 引言 137

9.2 不同Trace流长分布 138

9.2.1 不同协议类型的流量分布分析 138

9.2.2 不同Trace的流长实际分布 140

9.3 流长分布的影响因素 141

9.3.1 IP流应答率分析 142

9.3.2 短IP流的成分分析 144

9.3.3 路由循环对IP流流长分布的影响 146

9.3.4 高层应用对IP流流长分布的影响 147

9.4 IP流分布的统计模型 148

9.4.1 重尾分布模型描述 148

9.4.2 IP流流长分布模型 150

9.4.3 Kolmogorov-Smirnov拟合优度检验 151

9.5 基于MGCBF算法的长流统计 152

9.5.1 MGGBF算法原型 152

9.5.2 长流统计系统结构设计 155

9.5.3 系统性能分析与误差估计 157

9.5.4 测量实验结果 158

9.6 研究结论与展望 159

参考文献 160

10 IP流流速特征分析 162

10.1 引言 162

10.2 基于协议分析的IP流流速模型 163

10.2.1 TCP流传输平均速率模型 163

10.2.2 UDP流和ICMP流的传输速率模型 166

10.3 基于测量的IP流持续时间分析 168

10.3.1 IP流的持续时间总体分布 168

10.3.2 TCP流的持续时间分布 170

10.3.3 非TCP流的持续时间分布 172

10.3.4 IP流持续时间分布特征和影响因素 173

10.4 IP流平均流速分析 173

10.4.1 IP流平均流速总体分布 173

10.4.2 TCP流平均流速分布 175

10.4.3 非TCP流平均流速分布 176

10.4.4 IP流平均流速的影响因素分析 178

10.4.5 流速平稳性分析 179

10.5 IP流流速和流长相关性分析 180

10.5.1 流长和流持续时间相关性分析 180

10.5.2 流长和平均流速相关性分析 182

10.5.3 TCP流的流长与流速平稳性相关性分析 187

10.6 研究结论与展望 189

参考文献 190

11 IP流到达相关特征及模型 192

11.1 引言 192

11.2 IP流到达总体分布特征分析 192

11.2.1 长时间粒度下IP流到达分布分析 193

11.2.2 IP流到达时间间隔分布及其相关性分析 195

11.3 IP流到达分布模型 199

11.3.1 Poisson丛集过程(Poisson Cluster Process) 199

11.3.2 IP流到达分布成因分析 200

11.4 多分辨率的IP流到达特征及其相关性分析 201

11.4.1 基于小波的多分辨率分析 201

11.4.2 基于多分辨率的IP流到达总体状况分析 204

11.4.3 不同应答情况和协议类型的IP流到达分析 205

11.4.4 IP流到达与流长关系分析 207

11.4.5 IP流到达和流速关系分析 208

11.5 研究结论与展望 211

参考文献 212

12 网络流量行为分析模型 214

12.1 引言 214

12.2 网络流量分解模型 215

12.2.1 流量突变成分分解 216

12.2.2 流量趋势成分分解 216

12.2.3 流量周期成分分解 217

12.2.4 流量随机成分分解 218

12.3 分解模型网络流量分析 218

12.3.1 各流量的分解模型参数 219

12.3.2 建模分析 219

12.3.3 与ARIMA季节模型比较 220

12.4 季节型神经网络模型 221

12.4.1 常规的时间序列神经网络模型 221

12.4.2 季节型神经网络模型 222

12.5 神经网络季节模型数据分析 225

12.5.1 数据采集 225

12.5.2 模型学习 226

12.5.3 预测结果 227

12.6 实时异常行为检测模型 229

12.6.1 异常检测测度的选择 229

12.6.2 流量行为实时检测处理 230

12.6.3 流量实例分析 232

12.7 研究结论与展望 232

参考文献 234

13 TCP宏观平衡性分析 235

13.1 引言 235

13.2 TCP完整性相关研究 236

13.3 TCP宏观平衡性指标体系 237

13.3.1 TCP连接数量约束 237

13.3.2 TCP流宏观平衡性测度定义 237

13.3.3 异常TCP宏观平衡性补充测度 239

13.3.4 常见TCP异常对测度的影响 241

13.4 TCP流聚类的宏观平衡性 246

13.4.1 聚类后的TCP宏观平衡性 246

13.4.2 源串的还原和着色过程 246

13.4.3 基于Bloom Filter的自然着色聚类过程 250

13.5 TCP宏观异常检测和阻止 254

13.5.1 基于TCP的DoS/DDoS 255

13.5.2 扫描 255

13.5.3 路由循环检测和消除 256

13.6 TCP宏观异常实例分析 257

13.6.1 实例1:Bell Labs扫描和DoS攻击 257

13.6.2 实例2:IPLS_CLEV、DDoS攻击和扫描 259

13.6.3 实例3:WIDE,蠕虫扩散 260

13.7 研究结论和展望 262

参考文献 262

14 高速网络报文测量器 264

14.1 引言 264

14.2 Linux内核的网络体系 264

14.2.1 Linux操作系统 264

14.2.2 总体结构框架 265

14.2.3 协议栈的数据结构 266

14.2.4 协议栈的套接字 268

14.2.5 底层网络接收机制 269

14.2.6 Linux内核的修改分析 270

14.3 报文测量器的匹配分析 271

14.3.1 基于哈希散列的匹配 272

14.3.2 基于稠密二叉树的匹配 272

14.3.3 基于哈希表和稠密二叉树混合结构的匹配 273

14.4 高速网络测量器总体设计 274

14.4.1 总体任务需求概要 274

14.4.2 系统总体结构 274

14.4.3 CE测量器工作流程 276

14.5 高速网络测量器的实现 278

14.5.1 核心技术 278

14.5.2 核心模块的实现 282

14.6 研究结论和展望 289

参考文献 290

15 高速网络流量测量平台 291

15.1 引言 291

15.2 时钟同步问题研究 291

15.2.1 时钟同步研究现状 291

15.2.2 基准实验 292

15.2.3 实验分析与讨论 296

15.3 数据归并 299

15.3.1 归并问题 299

15.3.2 数据特征说明 300

15.3.3 数据整理过程 301

15.4 测量平台体系结构 302

15.4.1 测量系统的目的 302

15.4.2 系统总体设计 303

15.4.3 系统同步与控制 305

15.4.4 接口数据 305

15.5 系统测试 306

15.5.1 测试环境和方案 306

15.5.2 测试结果分析 308

15.6 研究结论和展望 308

参考文献 309