前言 1
第1章 系统架构/运用技巧 5
运行HDFS环境的参数 6
运行MapReduce环境需要的参数 7
总结 8
文件描述符的设置 9
Java的安装 10
总结 11
本技巧中介绍的HA的构成 11
HA集群的构建过程 13
疑难解答 31
总结 33
可以获取的统计信息 34
总结 40
关于CDH3同一版本间的更新 41
总结 42
准备 43
理解操作 43
使用Oracle的操作确认 45
总结 52
Sqoop的PostgreSQL联合功能 53
在PostgreSQL中的使用 53
PostgreSQL联合的挑战 55
总结 55
什么是Azkaban 55
Azkaban的安装 56
总结 61
作业的定制 61
总结 66
第2章 应用程序开发技巧 67
将Hadoop配置文件拷贝到外部应用程序 67
从应用程序操作MapReduce 68
总结 69
什么是InMapperCombiner 70
InMapperCombiner的实现方法 70
总结 72
自定义Writable类型主要分为两种 73
如何生成一个Writable接口的子类 73
总结 75
自定义Partitioner的实现方法 75
总结 77
什么是DistributedCache 78
DistributedCache的使用 78
总结 79
自定义CombineFileInputFormat的实现 80
自定义CombineFileInputFormat的使用 84
总结 86
获取MRUnit Jar文件 87
Map的测试 87
Reduce的测试 88
测试MapReduce作业 88
总结 89
生成自定义Writable 90
生成GroupingComparatorClass 90
生成PartitionerClass 91
生成SortComparatorClass 91
设置各个Comparator 92
总结 92
数据的内容 93
Map端连接的代码 93
输出结果 94
单独读入文件进行连接 94
总结 95
数据的内容 95
Map的定义 95
Reduce的定义 96
作业的定义 96
输出结果 97
总结 97
定义作业 98
总结 100
InputFormat类 100
OutputFormat类 102
总结 104
Cassandra的hadoop程序包内容 105
Map类 105
Reduce类 106
定义作业 106
总结 107
获取文件系统信息 108
操作HDFS的API 109
总结 111
分析的要点 112
用计数器可以确认的项目 112
处理结束后的确认方法 113
经过一定时间后的确认方法 114
作业历史的管理方法 115
总结 115
Hadoop中可以处理的压缩格式 116
Hadoop中处理lzo压缩的准备 116
在MapReduce程序中处理压缩文件 117
在Hive中处理压缩文件 120
总结 121
第3章 HBase技巧 122
importtsv工具 122
completebulkload工具 123
总结 123
sqoop import 124
自定义PutTransformer 124
总结 125
用于HFileOutputFormat的Mapper 126
作业的设置 126
总结 127
Java API 128
HBase shell 129
总结 129
什么是协处理器 130
Observer 130
Endpoint 132
总结 135
创建自定义Filter 135
配置自定义Filter 137
总结 138
export工具 138
import工具 139
总结 139
复制机制 139
配置 140
数据的确认 141
总结 141
第4章 Hive技巧 142
SQL语句和HiveQL语句的书写方法的不同 143
SELECT句中不存在的列不能排序 147
NULL的处理 147
ROWNUM关联 148
总结 148
标点字符、带圈字符的存在 149
PK的存在 149
加载数据 149
Join时的数据保持方法 150
WHERE句中的比较条件 150
置换处理和UDF 150
key数和Out Of Memory 150
总结 151
处理单位 151
ORDER BY语句和SORT BY语句 151
输出中间连接表 152
MapReduce任务不发生的处理 153
一次连接多个表 153
总结 153
查询高速化的探讨 154
总结 158
Hive的用户定义函数 159
UDF的安装 159
UDAF的实现 161
使用用户定义函数 164
总结 165
什么是SerDe 165
文本数据的情况（使用RegexSerDe） 166
文本数据的情况（使用CSV用的非标准SerDe） 167
结构化/二进制数据的场合（使用JSON用的非标准SerDe） 169
总结 171
使用TRANSFORM句 171
使用UDAF 174
总结 176
使用注释 176
使用模式 177
使用锁定机制 178
总结 181
流程 182
使用方法 182
总结 186
Hive的日志的种类 187
通过Hive会话日志可以确认的内容 187
总结 190
Hive-HDFS-RDBMS的关系 190
向Hive的直接导入 191
文件形式和直接导入的关系 193
列指定·WHERE条件指定 195
指定了Hive的分区key的导入 197
总结 198
Hive→Oracle的差异数据的交换 200
总结 203
第5章 Pig技巧 204
进行LOAD处理要实现的项目 204
进行STORE处理需要实现的项目 206
在一个UDF中实现LOAD和STORE的处理 208
总结 209
数据的保存方法 209
MapReduce作业的评价方法 210
用户单独的处理 210
输出的日志 211
总结 211
Pig的用户定义函数 211
用户定义函数中可以使用的数据类型 212
用户定义函数的实现和使用方法 212
总结 218
Java中的PigLatin嵌入方法 218
执行范例 219
总结 220
DESCRIBE：确认数据结构 221
EXPLAIN：确认MapReduce的执行计划 222
DUMP：显示处理内容 225
总结 226
数学函数 226
字符串操作函数 227
总结 228
第6章 Mahout技巧 229
可以做什么 230
推荐（Recommendation） 230
聚类（Clustering） 230
分类（Classification） 231
其他 231
总结 231
安装 232
执行方法 232
总结 234
总结 237
输入数据的形式 237
处理的执行 237
执行命令的内容 238
与文本数据的对应 239
总结 247
输入数据 248
执行关联分析 248
执行结果文件 250
总结 251
从学习（预测模型）到预测的过程 252
预测模型的构建和应用 253
总结 264
分布式并行化的必要性 264
随机森林的分布式并行图像 264
In-memory模式 269
总结 273
应用例子 274
创建方法 274
创建驱动程序 276
使用驱动程序 276
总结 278
K平均法 278
输入数据的形式 278
输入数据的变换 278
执行kmeans 279
获取执行结果 279
结果文件的内容 280
总结 280
第7章 ZooKeeper技巧 281
客户端程序库 282
简单的API 282
与ZooKeeper的连接和断开 282
znode的创建 285
确认znode的存在 288
从znode读取数据 289
znode中写入数据 290
删除znode 291
获取子节点的列表 291
总结 293
认证方案 293
ACL和权限 293
ACL的设置（setACL） 294
获取ACL（getACL） 296
总结 297
操作 298
总结 307
启动 307
连接 308
操作数据 308
尝试监视 310
完成 311
总结 312
体系结构 312
Rest服务器的启动 312
总结 316
C客户端程序库 319
总结 320
什么是tickTime？ 321
设置方法 321
设置其他tickTime影响的项目 321
以其他tickTime为基准进行的处理 324
总结 325
什么是ZAB 326
使用ZAB的ZooKeeper内部处理 326
两阶段提交 327
总结 329
构成ensemble 329
leader选出运算法则 332
总结 333
状态 334
总结 338
分组 339
权重 340
总结 342
分布并行队列的实现 342
总结 351
什么是BookKeeper 351
BookKeeper的基本操作 354
尝试BookKeeper 354
有效利用BookKeeper 360
总结 361
实现介绍 361
使用方法 365
使用示例 366
总结 366