云计算与大数据实验教材系列 MAHOUT实验指南PDF电子书下载

1 概述 1

1.1 数据挖掘 1

1.1.1 推荐系统 1

1.1.2 聚类算法 1

1.1.3 分类算法 2

1.1.4 监督学习和无监督学习 2

1.1.5 关联规则 2

1.2 Mahout使用说明 3

1.2.1 关于Mahout 3

1.2.2 配置Mahout 3

2 推荐系统 10

2.1 知识要点 10

2.1.1 推荐系统定义 10

2.1.2 查准率与查全率 10

2.1.3 协同过滤 11

2.1.4 相似度计算 11

2.2 创建一个推荐程序 13

2.2.1 创建输入 13

2.2.2 运行推荐程序 14

2.3 评估一个推荐程序 15

2.4 基于用户的协同过滤 16

2.4.1 算法思想 16

2.4.2 基于欧几里得距离的user-based推荐程序 16

2.5 基于商品的协同过滤 17

2.5.1 算法思想 17

2.5.2 基于欧几里得距离的item-based推荐程序 18

2.6 Slope-one推荐算法 18

2.6.1 算法思想 18

2.6.2 Slope-one推荐程序 19

3 聚类算法 20

3.1 知识要点 20

3.1.1 TFIDF权重 20

3.1.2 向量空间模型及距离度量 21

3.1.3 k-means聚类算法 21

3.1.4 模糊k-means聚类算法 24

3.2 聚类示例 24

3.2.1 生成输入数据 24

3.2.2 使用Mahout聚类 25

3.3 使用各种距离度量 28

3.3.1 欧氏距离测度 28

3.3.2 平方欧氏距离测度 28

3.3.3 曼哈顿距离测度 29

3.3.4 余弦距离测度 29

3.3.5 谷本距离测度 29

3.4 数据向量化表示 30

3.4.1 将数据转换为向量 30

3.4.2 从文档中生成向量 32

3.5 k-means新闻聚类 33

3.5.1 内存k-means聚类 33

3.5.2 Hadoop下的k-means新闻文本聚类 34

3.6 模糊k-means新闻聚类 36

3.6.1 内存模糊k-means聚类 36

3.6.2 Hadoop下的模糊k-means新闻文本聚类 37

4 分类算法 39

4.1 知识要点 39

4.1.1 分类算法基本流程 39

4.1.2 最近邻分类器 40

4.1.3 逻辑回归分类算法 41

4.1.4 SVM分类算法 42

4.1.5 朴素贝叶斯分类算法 43

4.1.6 决策树 44

4.1.7 随机森林分类算法 45

4.1.8 人工神经网络分类器 45

4.2 简单分类示例——填充颜色分类器 46

4.2.1 查看数据 47

4.2.2 训练模型 47

4.3 文本分类算法准备工作 50

4.3.1 训练分类器流程 50

4.3.2 实现文本的词条化和向量化 50

4.4 逻辑回归新闻分类算法 52

4.4.1 准备数据集 52

4.4.2 模型建立与评估 53

4.4.3 部分运行过程 54

4.5 朴素贝叶斯新闻分类算法 55

4.6 隐马尔科夫模型 56

5 关联规则 58

5.1 知识要点 58

5.1.1 频繁项集发现 58

5.1.2 支持度和置信度 58

5.1.3 Apriori关联规则挖掘算法 59

5.2 关联规则挖掘示例 59

5.2.1 发现频繁项集 59

5.2.2 产生关联规则 61

参考文献 65