文本挖掘技术及其应用PDF电子书下载

第一部分 文本挖掘技术 3

第一章 绪论 3

1.1 整合文本挖掘与数据挖掘 4

1.2 基础技术 7

第二章 资料分析 15

2.1 数据分析作业 15

2.1.1 数据清洗 15

2.1.2 建立基本词汇数据库 15

2.1.3 Metadata（元数据）及非结构化文本数据的自动分类 16

2.1.4 数据聚类 17

2.1.5 关系型分析 18

2.2 基础挖掘过程 18

2.2.1 文献的树状知识分类 18

2.2.2 数据检索 19

2.2.3 主题侦测追踪 19

2.2.4 概念丛集 19

2.2.5 个人化议题式词库（增列） 19

2.2.6 动态索引词库 19

2.2.7 推论分析 19

第二部分 文本挖掘：以R软件为例 23

第三章 R软件 23

3.1 R软件简介 23

3.2 R软件的特色 23

3.3 R软件的基本安装 24

3.4 程序包安装 24

第四章 基本工具 25

4.1 基本工具 25

4.1.1 安装rJava包 25

4.1.2 安装Rwordseg包 25

4.1.3 安装tm包 26

4.1.4 安装tmcn包 26

4.1.5 安装wordcloud、ggplot2、graphics包 26

4.1.6 安装Rfacebook、Rweibo、Rtwitter包 26

4.2 社群开放平台权限申请 27

4.2.1 如何获得Facebook权限 27

4.2.2 如何获得微博权限 33

第五章 文本挖掘之爬虫 38

5.1 Rfacebook 38

5.1.1 用户发文 38

5.1.2 粉丝发文 39

5.1.3 所需R包 40

5.2 Rweibo 43

5.2.1 主题 43

5.2.2 实例说明 47

5.2.3 所需R包 48

5.3 R Twitter 51

5.3.1 关键词 51

5.3.2 所需R包 53

5.4 网页爬虫 55

5.4.1 爬一般网页文字 55

5.4.1 爬PTT网页文字 58

5.4.3 所需R包 59

5.5 SpideR 61

5.5.1 所需R包 61

5.5.2 有关爬虫时的注意事项 62

5.5.3 抓取网页数据的标准作业程序 62

5.5.4 R IDE的编码 63

5.5.5 读取文档或网页的编码 63

5.5.6 R IDE开发spideR面对编码的解决方案 64

第六章 数据预处理 65

6.1 编码处理 65

6.1.1 乱码问题 65

6.1.2 字符编码种类 65

6.2 代表性语料库、词库简介 66

6.2.1 知网http://www.keenage.com 66

6.2.2 中文词知识库小组（http://ekip.iis.sinica.edu.tw/CKIP/index.htm） 69

6.3 断词方法 69

6.4 字词处理 72

6.5 语料库建立 73

6.6 正则表达式（regular expressions） 76

第七章 资料分析 77

7.1 频率（词频） 77

7.2 DTM（TDM）matrix 78

7.2.1 DocumentTermMatrix与TermDocumentMatrix 78

7.2.2 稀疏矩阵（sparse matrix） 79

7.3 关联分析 81

7.4 聚类分析 82

7.4.1 常用的两种相似系数 82

7.4.2 常用的点间距离公式 83

7.4.3 层次式聚类法 84

7.4.4 非层次式聚类法 85

7.4.5 R聚类分析语法 85

7.5 主成分分析 86

7.5.1 主成分分析原理 86

7.5.2 主成分分析数学模型 87

7.5.3 主成分特性 88

7.5.4 R语言主成分分析语法 89

7.6 词云聚类分析 91

7.6.1 词云聚类简介 91

7.6.2 R语言词云聚类语法 91

第三部分 文本挖掘之SQL Server 2014 99

第八章 SQL Server 2014简介 99

8.1 商业智能应用程序 99

8.2 文本挖掘技术 100

第九章 文本挖掘应用 101

9.1 导入文本数据 101

9.2 建立NGArticles的词库 105

9.2.1 建立词库（Dictionary） 105

9.2.2 建立词向量 117

9.2.3 建立Train Sample和Test Sample 124

第十章 资料分析 131

10.1 串联Train Sample、Test Sample和TermVectors 131

10.2 构建数据挖掘模型（决策树、神经网络、逻辑回归） 134

10.3 图表分析 143

10.3.1 各模型的准确度图表分析 143

10.3.2 决策树图表分析 145

10.3.3 神经网络图表分析 146

第十一章 文本挖掘在实务上的应用 148

11.1 创造商机 148

11.1.1 商品卖得好 149

11.1.2 社群操作得好 150

11.1.3 危机预警 151

11.1.4 广告ROI高 152

11.2 结语 152