数据湖架构PDF电子书下载

第1章 数据的湖泊 1

1.1 大数据来了 2

1.2 数据湖来了 2

1.3 “单向”的数据湖 4

1.4 小结 7

第2章 改造数据湖 8

2.1 元数据 9

2.2 整合图谱 9

2.3 语境 11

2.4 元过程 11

2.5 数据科学家 13

2.6 通用性 14

2.7 小结 14

第3章 数据湖内部 16

3.1 模拟信号数据 17

3.2 应用程序数据 20

3.3 文本数据 21

3.4 另一个视角 23

3.5 小结 24

第4章 数据池 26

4.1 数据修整 27

4.2 初始数据池 28

4.3 模拟信号数据池 29

4.4 应用程序数据池 29

4.5 文本数据池 30

4.6 将数据直接传入数据池 30

4.7 归档数据池 31

4.8 小结 32

第5章 数据池的通用结构 33

5.1 数据池描述 34

5.2 数据池目标 35

5.3 数据池数据 36

5.4 数据池元数据 36

5.5 数据池元过程 37

5.6 数据转换标准 38

5.7 小结 39

第6章 模拟信号数据池 41

6.1 模拟信号数据问题 42

6.2 数据描述 42

6.3 捕获初始数据、转换初始数据 43

6.4 转换／调整初始模拟信号数据 44

6.5 数据切除 47

6.6 聚类数据 48

6.7 数据关系 50

6.8 未来使用的可能性 51

6.9 异常值 52

6.10 临时性的特定分析 54

6.11 小结 55

第7章 应用程序数据池 57

7.1 数据的基因 58

7.2 数据描述 59

7.3 标准数据库格式 59

7.4 数据的基本组织 60

7.5 数据的整合 61

7.6 数据模型 61

7.7 整合的必要性 63

7.8 从一个应用指向到下一个应用 65

7.9 交并应用 66

7.10 应用程序数据池内的数据子集 67

7.11 小结 68

第8章 文本数据池 70

8.1 统一化的数据与计算机 70

8.2 宝贵的文本 71

8.3 文本消歧 72

8.4 传入数据池的文本 73

8.5 文本消歧的输出 74

8.6 固有的复杂性 75

8.7 文本消歧的功能 77

8.8 分类与本体 77

8.9 文本与语境的价值 79

8.10 对文本追根溯源 80

8.11 消歧的机制 80

8.12 分析数据库 81

8.13 将结果可视化 82

8.14 小结 84

第9章 数据池间的对比 85

9.1 数据池的相似性 85

9.2 数据池的差异性 86

9.3 数据最终状态的关系型格式 86

9.4 技术间差异 87

9.5 数据池中数据的总预期容量 88

9.6 数据池间的数据移动 88

9.7 在多个数据池进行分析 89

9.8 使用元数据来关联不同数据池内的数据 90

9.9 假如…… 91

9.10 小结 92

第10章 利用基础架构 94

10.1 “单向”数据湖 95

10.2 改造数据湖 96

10.3 转换技术 96

10.4 一些分析问题 97

10.5 查询文本数据 100

10.6 真实的分析 101

10.7 小结 102

第11章 搜索与分析 103

11.1 供应商所散布的困惑 110

11.2 小结 110

第12章 数据池中的业务价值 111

12.1 模拟信号数据池中的业务价值 111

12.2 应用程序数据池中的业务价值 114

12.3 文本数据池中的业务价值 115

12.4 记录中的业务价值比例 116

12.5 小结 117

第13章 一些额外话题 118

13.1 高层系统级别文档 118

13.2 详细的数据池级别文档 119

13.3 什么样的数据会流入数据湖／数据池 120

13.4 分析在何处发生 121

13.5 数据的年龄 125

13.6 数据的安全 125

13.7 小结 126

第14章 分析与整合工具 127

14.1 可视化 127

14.2 搜索与修正 128

14.3 文本消歧 129

14.4 统计分析 130

14.5 经典的ETL处理 131

14.6 小结 131

第15章 归档数据池 133

15.1 数据的移除标准 134

15.2 结构性改动 134

15.3 为归档数据池建立单独的索引 135

15.4 小结 136

术语表 137

参考资料 142