《颠覆大数据分析 基于Storm Spark等Hadoop替代技术的实时应用》PDF下载

  • 购买积分:10 如何计算积分?
  • 作  者:(美)阿涅斯瓦兰著
  • 出 版 社:北京:电子工业出版社
  • 出版年份:2015
  • ISBN:9787121252242
  • 页数:218 页
图书介绍:提起大数据分析,大多数专业人士都会想到Hadoop,但是有一些尖端的应用是不适合用Hadoop的,尤其是实时分析和需要迭代机器学习算法的场景。幸运的是,针对这些场景的一些强大的新技术已经被开发出来。本书就是指导你超越Hadoop的第一本书。作者详细讲解了具有突破性的伯克利数据分析堆栈(BDAS)技术,并针对下一代内存技术Spark给出了实际示例和代码样例,作者还对所有能遇见到的新技术进行了总结。

1 引言:为什么要超越Hadoop Map-Reduce 1

Hadoop的适用范围 3

大数据分析之机器学习实现的革命 10

第一代机器学习工具/范式 11

第二代机器学习工具/范式 11

第三代机器学习工具/范式 14

小结 18

参考文献 19

2 何为伯克利数据分析栈(BDAS) 23

实现BDAS的动机 24

Spark:动机 25

Shark:动机 26

Mesos:动机 28

BDAS的设计及架构 29

Spark:高效的集群数据处理的范式 34

Spark的弹性分布式数据集 36

Spark的实现 40

Spark VS.分布式共享内存系统 42

RDD的表达性 44

类似Spark的系统 45

Shark:分布式系统上的SQL接口 46

Spark为Shark提供的扩展 47

列内存存储 49

分布式数据加载 50

完全分区智能连接 50

分区修剪 50

机器学习的支持 51

Mesos:集群调度及管理系统 51

Mesos组件 52

资源分配 54

隔离 55

容错性 57

小结 58

参考文献 59

3 使用Spark实现机器学习算法 66

机器学习基础知识 66

机器学习:随机森林示例 68

逻辑回归:概述 72

二元形式的逻辑回归 73

逻辑回归估计 75

多元逻辑回归 76

Spark中的逻辑回归算法 77

支持向量机 80

复杂决策面 81

支持向量机背后的数学原理 82

Spark中的支持向量机 84

Spark对PMML的支持 85

PMML结构 87

PMML的生产者及消费者 92

Spark对朴素贝叶斯的PMML支持 94

Spark对线性回归的PMML支持 95

在Spark中使用MLbase进行机器学习 97

参考文献 99

4 实现实时的机器学习算法 101

Storm简介 101

数据流 103

拓扑 104

Storm集群 105

简单的实时计算例子 106

数据流组 108

Storm的消息处理担保 109

基于Storm的设计模式 111

分布式远程过程调用 111

Trident:基于Storm的实时聚合 115

实现基于Storm的逻辑回归算法 116

实现基于Storm的支持向量机算法 120

Storm对朴素贝叶斯PMML的支持 122

实时分析的应用 126

工业日志分类 126

互联网流量过滤器 130

Storm的替代品 131

Spark流 133

DStreams的动机 133

参考文献 135

5 图处理范式 138

Pregel:基于BSP的图处理框架 139

类似的做法 141

开源的Pregel实现 143

Giraph 143

GoldenORB 145

Phoebus 145

Apache Hama 146

Stanford GPS 146

GraphLab 147

GraphLab:多核版本 148

分布式的GraphLab 150

PowerGraph 152

通过GraphLab实现网页排名算法 156

顶点程序 158

基于GraphLab实现随机梯度下降算法 163

参考文献 167

6 结论:超越Hadoop Map-Reduce的大数据分析 171

Hadoop YARN概览 172

Hadoop YARN的动机 172

作为资源调度器的YARN 174

YARN上的其他框架 175

大数据分析的未来是怎样的 177

参考文献 180

附录A 代码笔记 182