大数据项目管理 从规划到实现PDF电子书下载

第1章 数据项目的主要类型及考虑因素 1

1.1数据项目的主要类型 1

1.2数据管道和数据暂存 3

1.2.1主要考虑因素和风险管理 4

1.2.2数据管道和数据暂存团队的人员组成 13

1.3数据的处理和分析 14

1.3.1主要考虑因素和风险管理 14

1.3.2数据处理和分析团队的人员组成 17

1.4应用程序开发 17

1.4.1主要考虑因素和风险管理 18

1.4.2应用程序开发团队的人员组成 22

1.5小结 22

第2章 评估和选择数据管理解决方案 25

2.1开源项目的阶段 26

2.1.1孵化阶段 27

2.1.2发布阶段 27

2.1.3“治愈癌症”阶段 27

2.1.4打破承诺阶段 28

2.1.5强化阶段 29

2.1.6企业阶段 30

2.1.7终结阶段 30

2.2开源项目的常见生命周期 31

2.2.1使产品起死回生 32

2.2.2追随者 33

2.3评估基准测试 34

2.4技术选型的考虑因素 35

2.4.1了解构建块 36

2.4.2寻求建议 37

2.4.3从分析师那里获得见解 37

2.4.4研究市场趋势 37

2.5小结 39

第3章 数据项目的风险管理 41

3.1风险类型 41

3.1.1技术风险 41

3.1.2团队风险 42

3.1.3需求风险 42

3.2风险管理 42

3.2.1对架构中的风险进行分类 42

3.2.2技术风险 45

3.2.3团队的优势 45

3.2.4外部团队风险 47

3.2.5需求风险 47

3.2.6融会贯通 47

3.3使用原型和PoC 50

3.3.1找到两三种方法 50

3.3.2进行PoC，然后丢弃 50

3.3.3部署的注意事项 50

3.4使用接口 51

3.5尽早开始构建 52

3.6频繁测试并保留记录 52

3.7监控和警报 53

3.8沟通风险 54

3.8.1合作并获得信任 54

3.8.2公开风险 54

3.9将风险作为谈判工具 55

3.10小结 55

第4章 接口设计 57

4.1人体 57

4.1.1人体与数据架构 57

4.1.2解耦 61

4.1.3解耦的注意事项 63

4.1.4专门化 64

4.2什么造就了好的接口设计 64

4.2.1合约 64

4.2.2抽象 64

4.2.3版本控制 65

4.2.4防御 65

4.2.5接口的文档和命名 66

4.3非功能性考虑因素 67

4.3.1可用性 67

4.3.2响应时间 68

4.3.3负载容量 68

4.3.4使用测试来确定SLA 69

4.4通用接口示例 69

4.4.1发布-订阅 69

4.4.2异步请求-响应 71

4.4.3同步请求-响应 72

4.5小结 73

第5章 分布式存储系统 75

5.1分布式存储系统的属性 75

5.1.1谱系 76

5.1.2分区 77

5.1.3处理数据变更 78

5.1.4读取路径 80

5.1.5可用性与一致性 84

5.1.6主要用例 85

5.2存储系统细分 85

5.2.1 HDFS 86

5.2.2 S3和对象存储系统 87

5.2.3 Apache HBase 89

5.2.4 Apache Cassandra 90

5.2.5 Elasticsearch和Apache Solr 94

5.2.6新进者：Apache Kudu和CockroachDB 95

5.2.7内存存储系统 96

5.3小结 99

第6章 企业元数据 101

6.1为什么要关注元数据 102

6.1.1数据可见性 102

6.1.2数据之间的关系 103

6.1.3数据监管 104

6.2数据架构中的元数据类型 105

6.2.1静态数据 106

6.2.2动态数据 107

6.2.3数据源的元数据 110

6.2.4有关数据处理的元数据 111

6.2.5报告和仪表盘 112

6.3元数据收集 112

6.3.1声明式元数据收集 113

6.3.2发现式元数据收集 114

6.4元数据管理实践 115

6.5小结 116

第7章 确保数据完整性 117

7.1构建数据管道 118

7.2验证数据管道 123

7.2.1行数 123

7.2.2唯一计数 124

7.2.3全字节比较 124

7.2.4校验和比较 125

7.3小结 126

第8章 数据处理 127

8.1处理引擎的属性 127

8.1.1 DAG管理 128

8.1.2计算隔离 130

8.1.3性能 132

8.1.4容错 132

8.1.5交互模型 135

8.1.6批处理和流处理 135

8.2数据处理演变史 136

8.3小结 138

关于作者 139

关于封面 139