大数据技术体系与开源生态PDF电子书下载

第一篇 大数据技术体系与开源生态概述 3

第1章 大数据技术体系概述 3

1.1大数据技术的主要内容 3

1.2大数据开源框架 4

1.2.1大数据获取技术 4

1.2.2大数据管理技术 5

1.2.3大数据处理技术 5

1.2.4大数据安全与治理技术 5

1.2.5大数据分析与挖掘技术 6

1.2.6大数据可视化技术 6

1.3本章小结 7

第2章 开源生态与代码托管平台简介 8

2.1开源和开源软件的简介 8

2.1.1开源的简介 8

2.1.2开源软件的简介 8

2.2开源代码托管平台——GitHub 9

2.3本章小结 10

第3章 大数据开源生态的介绍 11

3.1Apache软件基金会 11

3.1.1发展历历史 11

3.1.2主要参与者 12

3.1.3开源项目 13

3.2Linux基金会 14

3.2.1发展历史 15

3.2.2主要参与者 15

3.2.3开源项目 17

3.3开源中国 18

3.3.1发展历史 18

3.3.2主要参与者 19

3.4本章小结 19

第4章 云计算开源生态的介绍 20

4.1OpenStack基金会 20

4.1.1发展历史 21

4.1.2主要参与者 21

4.1.3开源项目 22

4.2Cloud Native Computing Foundation 23

4.2.1发展历史 23

4.2.2主要参与者 23

4.2.3开源项目 25

4.3本章小结 25

第二篇 大数据获取技术 29

第5章 消息队列相关技术 29

5.1ZeroMQ 29

5.1.1技术概况 29

5.1.2发展近况和技术优势 30

5.1.3软件架构 31

5.1.4应用场景 33

5.2RabbitMQ 34

5.2.1技术概况 34

5.2.2发展近况和技术优势 35

5.2.3软件架构 36

5.2.4应用场景 38

5.3Active MQ 40

5.3.1技术概况 40

5.3.2发展近况和技术优势 40

5.3.3软件架构 42

5.3.4应用场景 43

5.4Apache Kafka 44

5.4.1技术概况 44

5.4.2发展近况和技术优势 45

5.4.3软件架构 46

5.4.4应用场景 47

5.5本章小结 50

第三篇 大数据管理技术 53

第6章 数据库相关技术 53

6.1传统关系型数据库 53

6.1.1MySQL 53

6.1.2PostgreSQL 60

6.2文档型数据库 65

6.2.1MongoDB 65

6.2.2Apache CouchDB 69

6.3列存储数据库 73

6.3.1Vertica 73

6.3.2Apache HBase 76

6.4键/值对型数据库 80

6.4.1Redis 80

6.4.2Riak 82

6.5图形数据库 85

6.5.1Neo4j 85

6.5.2OrientDB 90

6.5.3InfiiniteGraph 93

6.6基于内存的分布式文件系统之Alluxio 95

6.6.1技术概况 95

6.6.2发展近况和技术优势 96

6.6.3软件架构 97

6.6.4应用场景 98

6.7数据仓库系统之ApacheTajo 99

6.7.1技术概况 99

6.7.2发展近况和技术优势 100

6.7.3软件架构 101

6.7.4应用场景 103

6.8本章小结 105

第7章 大数据平台资源管理技术 106

7.1Apache ZooKeeper 106

7.1.1技术概况 106

7.1.2发展近况和技术优势 107

7.1.3软件架构 108

7.1.4应用场景 110

7.2Apache Hadoop YARN 111

7.2.1技术概况 111

7.2.2发展近况和技术优势 112

7.2.3软件架构 113

7.2.4应用场景 116

7.3Apache Mesos 119

7.3.1技术概况 119

7.3.2发展近况和技术优势 120

7.3.3软件架构 120

7.3.4应用场景 122

7.4Apache Mnemonic 123

7.4.1技术概况 123

7.4.2发展近况和技术优势 124

7.5本章小结 125

第四篇 大数据处理技术 129

第8章 开源批处理平台 129

8.1Apache Hadoop 129

8.1.1技术概况 129

8.1.2发展近况和技术优势 130

8.1.3软件架构 131

8.1.4应用场景 136

8.2Apache Spark 142

8.2.1技术概况 142

8.2.2发展近况和技术优势 142

8.2.3软件架构 144

8.2.4应用场景 146

8.3Apache Kylin 150

8.3.1技术概况 150

8.3.2发展近况和技术优势 150

8.3.3软件架构 152

8.3.4应用场景 153

8.4本章小结 159

第9章 开源实时处理平台 160

9.1Apache Storm 160

9.1.1技术概况 160

9.1.2发展近况和技术优势 161

9.1.3软件架构 162

9.1.4应用场景 163

9.2Apache Spark Streaming 169

9.2.1技术概况 169

9.2.2发展近况和技术优势 170

9.2.3软件架构 170

9.2.4应用场景 171

9.3Apache Flink 173

9.3.1技术概况 173

9.3.2发展近况和技术优势 174

9.3.3软件架构 175

9.3.4应用场景 176

9.4Apache Beam 179

9.4.1技术概况 179

9.4.2发展近况和技术优势 180

9.4.3软件架构 181

9.4.4应用场景 182

9.5Apache Apex 186

9.5.1技术概况 186

9.5.2发展近况和技术优势 187

9.5.3软件架构 188

9.5.4应用场景 191

9.6本章小结 194

第五篇 大数据分析与挖掘技术 199

第10章 开源数据分析平台 199

10.1Apache Mahout 199

10.1.1技术概况 199

10.1.2发展近况和技术优势 200

10.1.3应用场景 202

10.2Apache Spark MLlib 204

10.2.1技术概况 204

10.2.2发展近况和技术优势 204

10.2.3软件架构 205

10.2.4应用场景 207

10.3Apache Lens 208

10.3.1技术概况 208

10.3.2发展近况及技术优势 209

10.3.3软件架构 213

10.3.4应用场景 214

10.4Scikit-Learn 217

10.4.1技术概况 217

10.4.2发展近况与技术优势 217

10.4.3软件架构 218

10.4.4应用场景 220

10.5本章小结 223

第11章 开源深度学习平台 225

11.1TensorFlow 225

11.1.1技术概况 225

11.1.2发展近况和技术优势 226

11.1.3软件架构 226

11.1.4应用场景 230

11.2Tensorflow Lite 233

11.2.1技术概况 233

11.2.2发展近况和技术优势 233

11.2.3软件架构 234

11.3Caffe 237

11.3.1技术概述 237

11.3.2发展近况和技术优势 237

11.3.3软件架构 239

11.3.4应用场景 241

11.4PyTorch 243

11.4.1技术概况 243

11.4.2发展近况和技术优势 243

11.4.3软件架构 245

11.4.4应用场景 247

11.5本章小结 248

第六篇 大数据可视化与交互技术 251

第12章 主流大数据可视化与交互工具 251

12.1Tableau 251

12.1.1技术概况 251

12.1.2发展近况和技术优势 252

12.1.3软件架构 255

12.1.4应用场景 256

12.2Apache Zeppelin 260

12.2.1技术概况 260

12.2.2发展近况和技术优势 261

12.2.3软件架构 262

12.2.4应用场景 263

12.3本章小结 266

第13章 其他大数据可视化与交互工具 267

13.1Jaspersoft Community 267

13.1.1技术概况 267

13.1.2发展近况和技术优势 268

13.1.3软件架构 270

13.1.4应用场景 271

13.2BIRT 274

13.2.1技术概况 274

13.2.2发展近况和技术优势 275

13.2.3软件架构 278

13.2.4应用场景 280

13.3KNIME 281

13.3.1技术概况 281

13.3.2发展近况和技术优势 281

13.3.3软件架构 283

13.3.4应用场景 285

13.4本章小结 285

第七篇 大数据安全与治理技术 289

第14章 大数据治理技术 289

14.1Apache Falcon 289

14.1.1技术概况 290

14.1.2发展近况和技术优势 290

14.1.3软件架构 292

14.1.4应用场景 294

14.2Apache Atlas 297

14.2.1技术概况 298

14.2.2发展近况和技术优势 301

14.2.3软件架构 306

14.3本章小结 314

第15章 大数据安全技术 316

15.1Apache Ranger 316

15.1.1技术概况 316

15.1.2发展近况和技术优势 318

15.1.3软件架构 321

15.1.4应用场景 322

15.2Apache Sentry 324

15.2.1技术概况 324

15.2.2发展近况和技术优势 326

15.2.3软件架构 332

15.3Apache Kerberos 334

15.3.1技术概况 335

15.3.2发展近况和技术优势 336

15.3.3软件架构 337

15.4Apache Metron 339

15.4.1技术概况 339

15.4.2发展近况及技术优势 340

15.4.3软件架构 344

15.5Hyperledger 346

15.5.1技术概况 346

15.5.2发展近况和技术优势 347

15.5.3软件架构 348

15.5.4应用场景 349

15.6本章小结 351

结束语 353

名词索引 355