基于数据科学的恶意软件分析＝MALWARE DATA SCIENCE ATTACK DETECTION AND ATTRIBUTIONPDF电子书下载

第1章 恶意软件静态分析基础 1

1.1 微软Windows可移植可执行文件格式 2

1.1.1 PE头 3

1.1.2 可选头 3

1.1.3 节头 3

1.2 使用pefile解析PE文件格式 5

1.3 检查恶意软件的图片 7

1.4 检查恶意软件的字符串 8

1.4.1 使用字符串程序 8

1.4.2 分析镜像字符串 8

1.5 小结 10

第2章 基础静态分析进阶：x86反汇编 11

2.1 反汇编方法 11

2.2 x86汇编语言基础 12

2.2.1 CPU寄存器 13

2.2.2 算术指令 14

2.2.3 数据传送指令 15

2.3 使用pefile和capstone反汇编ircbot.exe 19

2.4 限制静态分析的因素 21

2.4.1 加壳 21

2.4.2 资源混淆 22

2.4.3 反汇编技术 22

2.4.4 动态下载数据 22

2.5 小结 23

第3章 动态分析简介 24

3.1 为什么使用动态分析 24

3.2 恶意软件数据科学的动态分析 25

3.3 动态分析的基本工具 25

3.3.1 典型的恶意软件行为 26

3.3.2 在malwr.com上加载文件 26

3.3.3 在malwr.com上分析结果 27

3.4 基本动态分析的局限 32

3.5 小结 32

第4章 利用恶意软件网络识别攻击活动 33

4.1 节点和边 34

4.2 二分网络 35

4.3 恶意软件网络可视化 37

4.3.1 失真问题 37

4.3.2 力导向算法 38

4.4 使用NetworkX构建网络 38

4.5 添加节点和边 39

4.5.1 添加属性 40

4.5.2 将网络保存到磁盘 41

4.6 使用GraphViz实现网络可视化 41

4.6.1 使用参数调整网络 42

4.6.2 GraphViz命令行工具 43

4.6.3 向节点和边添加可视属性 47

4.7 构建恶意软件网络 50

4.8 构建共享图像关系网络 53

4.9 小结 57

第5章 共享代码分析 58

5.1 通过特征提取对样本进行比较 61

5.1.1 特征袋模型如何工作 61

5.1.2 N-gram 62

5.2 使用Jaccard系数量化相似性 63

5.3 使用相似性矩阵评价恶意软件共享代码估计方法 65

5.3.1 基于指令序列的相似性 66

5.3.2 基于字符串的相似性 68

5.3.3 基于导入地址表的相似性 69

5.3.4 基于API动态调用的相似性 70

5.4 构建相似图 71

5.5 扩展相似性比较 76

5.5.1 minhash概述 77

5.5.2 minhash详述 77

5.6 构建持续的恶意软件相似性搜索系统 79

5.7 运行相似性搜索系统 84

5.8 小结 86

第6章 理解基于机器学习的恶意软件检测方法 87

6.1 基于机器学习的检测引擎构建步骤 88

6.1.1 收集训练样本 88

6.1.2 提取特征 89

6.1.3 设计好的特征 90

6.1.4 训练机器学习系统 90

6.1.5 测试机器学习系统 91

6.2 理解特征空间和决策边界 91

6.3 是什么决定了模型的好和坏：过拟合与欠拟合 96

6.4 机器学习算法的主要类型 99

6.4.1 逻辑回归 100

6.4.2 k近邻算法 103

6.4.3 决策树 106

6.4.4 随机森林 112

6.5 小结 114

第7章 评价恶意软件检测系统 115

7.1 四种可能的检测结果 115

7.1.1 检出率和误报率 116

7.1.2 检出率和误报率之间的关系 117

7.1.3 ROC曲线 118

7.2 在评价中考虑基准率 119

7.2.1 基准率如何影响精确度 120

7.2.2 在部署环境中评价精确度 120

7.3 小结 122

第8章 构建基于机器学习的检测器 123

8.1 术语和概念 124

8.2 构建一个基于决策树的检测器雏形 125

8.2.1 训练你的决策树分类器 126

8.2.2 可视化决策树 127

8.2.3 完整的示例代码 129

8.3 使用sklearn构建实际的机器学习检测器 130

8.3.1 实际的特征提取 130

8.3.2 为什么不能使用所有可能的特征 134

8.3.3 使用哈希技巧压缩特征 134

8.4 构建工业级的检测器 138

8.4.1 特征提取 138

8.4.2 训练检测器 139

8.4.3 运行检测器检测新的二进制文件 141

8.4.4 至此我们实现了什么 142

8.5 评价检测器的性能 144

8.5.1 使用ROC曲线评价检测器的功效 144

8.5.2 计算ROC曲线 144

8.5.3 将数据拆分为训练集和测试集 146

8.5.4 计算ROC曲线 147

8.5.5 交叉验证 148

8.6 下一步工作 151

8.7 小结 152

第9章 可视化恶意软件趋势 153

9.1 为什么可视化恶意软件数据很重要 153

9.2 理解我们的恶意软件数据集 155

9.2.1 将数据加载到pandas中 156

9.2.2 使用pandas DataFrame 157

9.2.3 使用条件过滤数据 159

9.3 使用matplotlib可视化数据 160

9.3.1 绘制恶意软件大小和反病毒引擎检测之间的关系 161

9.3.2 绘制勒索软件检出率 162

9.3.3 绘制勒索软件和蠕虫检测率 163

9.4 使用seaborn可视化数据 166

9.4.1 绘制反病毒引擎检出的分布图 167

9.4.2 创建小提琴图 170

9.5 小结 172

第10章 深度学习基础 173

10.1 深度学习的定义 174

10.2 神经网络是如何工作的 175

10.2.1 神经元剖析 175

10.2.2 神经元网络 178

10.2.3 通用近似定理 178

10.2.4 构建自己的神经网络 179

10.2.5 向网络中添加一个新的神经元 182

10.2.6 自动生成特征 184

10.3 训练神经网络 185

10.3.1 利用后向传播优化神经网络 186

10.3.2 路径爆炸 188

10.3.3 梯度消失 189

10.4 神经网络的类型 189

10.4.1 前馈神经网络 189

10.4.2 卷积神经网络 190

10.4.3 自编码神经网络 191

10.4.4 生成式对抗网络 192

10.4.5 循环神经网络 192

10.4.6 残差网络 193

10.5 小结 193

第11章 使用Keras构建神经网络恶意软件检测器 194

11.1 定义模型的架构 195

11.2 编译模型 197

11.3 训练模型 198

11.3.1 提取特征 198

11.3.2 创建数据生成器 199

11.3.3 与验证数据协作 203

11.3.4 保存和加载模型 204

11.4 模型评价 205

11.5 使用回调强化模型训练过程 206

11.5.1 使用内置回调 207

11.5.2 使用自定义回调函数 208

11.6 小结 210

第12章 成为数据科学家 211

12.1 成为安全数据科学家之路 211

12.2 安全数据科学家的一天 212

12.3 高效安全数据科学家的特征 214

12.3.1 开放的心态 214

12.3.2 无穷的好奇心 214

12.3.3 对结果的痴迷 215

12.3.4 对结果的怀疑 215

12.4 未来的工作 215

附录 数据集和工具概述 217