第1章 欢迎使用SQL Server IntegrationServices 1
1.1 SQL Server SSIS历史概述 2
1.2 SSIS中的新内容 2
1.3商业工具 2
1.3.1导入和导出向导 2
1.3.2 SQL Server Data Tools体验 3
1.4 SSIS体系结构 4
1.4.1包 4
1.4.2控制流 5
1.4.3数据流 8
1.4.4变量 12
1.4.5参数 12
1.4.6错误处理和日志记录 12
1.5 SQL Server版本 12
1.6小结 13
第2章 SSIS工具 15
2.1导入和导出向导 15
2.1 SQL Server Data Tools 21
2.3创建第一个包 23
2.4解决方案资源管理器窗口 24
2.4.1工具箱 25
2.4.2属性窗口 25
2.5 SSIS包设计器 25
2.5.1控制流 26
2.5.2连接管理器 30
2.5.3变量 30
2.5.4数据流 31
2.5.5参数 32
2.5.6事件处理程序 32
2.5.7包资源管理器 33
2.5.8执行包 33
2.6 Management Studio 34
2.7小结 34
第3章 SSIS任务 35
3.1 SSIS任务对象 35
3.1.1使用任务编辑器 36
3.1.2任务编辑器的“表达式”选项卡 36
3.1.3 SDDTCommon属性 37
3.2循环和序列任务 38
3.3脚本任(.NET） 39
3.4 Analysis Services任务 41
3.4.1 Analysis Services执行DDL任务 41
3.4.2 Analysis Services处理任务 42
3.4.3数据挖掘查询任务 42
3.5数据流任务 43
3.6数据准备任务 44
3.6.1数据事件探查器 44
3.6.2文件系统任务 46
3.6.3对文件进行归档 47
3.6.4 FTP任务 48
3.6.5使用FTP获取文件 49
3.6.6 Web服务任务 50
3.6.7使用Web服务任务和XML源组件来获取数据 52
3.6.8 XML任务 55
3.6.9验证XML文件 56
3.7 RDBMS服务器任务 59
3.7.1大容量插入任务 59
3.7.2使用大容量插入任务 61
3.7.3执行SQL任务 62
3.8工作流任务 72
3.8.1执行包任务 72
3.8.2执行进程任务 73
3.8.3消息队列任务 74
3.8.4发送邮件任务 75
3.8.5 WMI数据读取器任务 76
3.8.6 WMI事件观察器任务 79
3.8.7为了文件传输而轮询目录 79
3.9 SMO管理任务 80
3.9.1传输数据库任务 80
3.9.2传输错误消息任务 81
3.9.3传输登录名任务 82
3.9.4传输主存储过程任务 82
3.9.5传输作业任务 83
3.9.6传输SQL Server对象任务 83
3.10小结 84
第4章 容器 85
4.1任务宿主容器 85
4.2序列容器 85
4.3组 86
4.4 For循环容器 87
4.5 Foreach循环容器 89
4.5.1 Foreach文件枚举器示例 90
4.5.2 Foreach ADO枚举器示例 92
4.6小结 95
第5章 数据流 97
5.1理解数据流 97
5.2数据查看器 98
5.3源 98
5.3.1 OLE DB源 99
5.3.2 Excel源 101
5.3.3平面文件源 102
5.3.4 原始文件源 106
5.3.5 XML源 107
5.3.6 ADO.NET源 107
5.4目标 107
5.4.1 Excel目标 108
5.4.2平面文件目标 108
5.4.3 OLE DB目标 108
5.4.4原始文件目标 109
5.4.5记录集目标 109
5.4.6 SQL Server和移动目标 109
5.4.7数据挖掘模型定型目标 110
5.4.8 DataReader目标 110
5.4.9处理维度目标和处理分区目标 110
5.5常用转换 110
5.5.1同步转换和异步转换 111
5.5.2聚合转换 111
5.5.3有条件拆分转换 112
5.5.4数据转换 113
5.5.5派生列转换 114
5.5.6查找转换 115
5.5.7缓存转换 116
5.5.8行计数转换 116
5.5.9脚本组件 117
5.5.10渐变维度转换 117
5.5.11排序转换 118
5.5.12 Union All转换 119
5.6其他转换 120
5.6.1审核转换 120
5.6.2字符映射表转换 121
5.6.3复制列转换 122
5.6.4数据挖掘查询转换 122
5.6.5 DQs清除转换 123
5.6.6导出列转换 123
5.6.7模糊查找转换 124
5.6.8模糊分组转换 130
5.6.9导入列转换 133
5.6.10合并转换 135
5.6.11合并联接转换 136
5.6.12多播转换 137
5.6.13 OLE DB命令转换 137
5.6.14百分比抽样转换和行抽样转换 138
5.6.15 透视转换 138
5.6.16逆透视转换 141
5.6.17字词提取转换 142
5.6.18字词查找转换 146
5.7数据流示例 147
5.8小结 150
第6章 使用变量、参数和表达式 151
6.1动态包对象 151
6.1.1变量概述 152
6.1.2参数概述 152
6.1.3表达式概述 153
6.2理解数据类型 153
6.2.1 SSIS数据类型 153
6.2.2日期和时间类型支持 155
6.2.3错误的数据类型和大小如何影响性能 155
6.2.4 Unicode和非Unicode转换问题 156
6.2.5 SSIS表达式中的强制转换 158
6.3使用变量和参数 159
6.3.1定义变量 159
6.3.2定义参数 160
6.3.3变量和参数数据类型 161
6.4使用表达式 162
6.4.1像CC#吗？接近但不完全是 162
6.4.2表达式生成器 163
6.4.3基本语法 164
6.4.4在SSIS包中使用表达式 176
6.5小结 184
第7章 联接数据 185
7.1查找转换 186
7.2使用合并联接转换 186
7.3对比SSIS以及关系联接 187
7.4查找功能 189
7.5生成基本包 190
7.5.1在源中使用关系联接 192
7.5.2使用合并联接转换 194
7.6使用查找转换 198
7.6.1完全缓存模式 199
7.6.2无缓存模式 201
7.6.3部分缓存模式 202
7.6.4多个输出 204
7.6.5表示式属性 207
7.6.6级联查找操作 208
7.7缓存连接管理器和缓存转换 210
7.8小结 212
第8章 创建端到端的包 213
8.1基本转换教程 213
8.1.1创建连接 214
8.1.2创建控制流 216
8.1.3创建数据流 217
8.1.4完成包 218
8.1.5保存包 219
8.1.6执行包 219
8.2典型的带有数据清理的大型机ETL 220
8.2.1创建数据流 221
8.2.2处理脏数据 222
8.2.3最终敲定 225
8.2.4处理更多的不良数据 226
8.2.5循环和动态任务 228
8.2.6循环 228
8.2.7使包具有动态性 229
8.3小结 232
第9章 在SSIS中编写脚本 233
9.1 SSIS脚本介绍 233
9.2 SSIS脚本使用入门 234
9.2.1选择脚本语言 235
9.2.2使用VSTA Scripting IDE 236
9.2.3示例：Hello World 237
9.2.4添加代码和类 238
9.2.5使用托管程序集 240
9.2.6示例：使用自定义.NET程序集 241
9.3使用脚本任务 243
9.3.1配置脚本任务编辑器 244
9.3.2脚本任务Dts对象 245
9.3.3在脚本任务中访问变量 245
9.3.4在脚本任务中连接数据源 251
9.3.5在脚本任务中触发事件 259
9.3.6在脚本任务中写入日志条目 264
9.4使用脚本组件 266
9.4.1与脚本任务的区别 266
9.4.2配置脚本组件编辑器 266
9.4.3在脚本组件中访问变量 269
9.4.4在脚本组件中连接数据源 270
9.4.5触发事件 270
9.4.6日志记录 271
9.4.7同步与异步 280
9.5基本代码、调试和故障诊断技术 282
9.5.1结构化异常处理 282
9.5.2脚本调试和故障诊断 285
9.6小结 288
第10章 加载数据仓库 289
10.1数据分析 290
10.1.1初次执行数据事件探查任务 291
10.1.2检查数据事件探查任务的结果 293
10.1.3将数据分析的结果转化为可操作的ETL步骤 296
10.2数据提取和清洗 296
10.3维度表加载 297
10.3.1加载简单的维度表 298
10.3.2加载复杂维度表 302
10.3.3 SCD转换的注意事项和替代方案 311
10.4事实表加载 312
10.5 SSAS处理 322
10.6 使用主ELT包 327
10.7小结 328
第11章 SSIS中高级的数据清洗 329
11.1高级派生列的使用 330
11.2高级模糊查找和模糊分组 333
11.2.1模糊查找转换 333
10.2.2模糊分组转换 339
11.3 DQS清除 342
11.3.1数据质量服务 343
11.3.2 DQS清除转换 346
11.4小结 349
第12章 使用关系引擎 351
12.1数据提取 351
12.1.1 SELECT*的缺点 352
12.1.2最佳方法是什么呢？ 353
12.1.3提取期间的转换 354
12.1.4许多AND使工作更加轻松 357
12.1.5数据库中的排序 357
12.1.6模块化 359
12.1.7 SQL Server也处理文本 360
12.1.8使用基于集的逻辑 364
12.2 SQL Sercer变更数据捕获 365
12.2.1 SQL Server CDC的好处 366
12.2.2准备CDC 367
12.2.3捕获实例表 369
12.2.4 CDC API 370
12.2.5使用新的 SSIS CDC工具 372
12.2.6在SSIS中查询CDC 376
12.3数据加载 379
12.3.1数据库快照 379
12.3.2 MERGE运算符 381
12.4小结 384
第13章 访问异构数据 385
13.1 Excel和Access 386
13.1.1 64位支持 387
13.1.2使用Excel文件 388
13.1.3使用Access 392
13.2从Oracle中导入数据 399
13.2.1 Oralce客户端设置 399
13.2.2导入Oracle数据 400
13.3使用XML和Web服务 402
13.3.1配置Web服务任务 402
13.3.2使用XML数据作为源 411
13.4平面文件 414
13.4.1加载平面文件 414
13.4.2从平面文件中提取数据 416
13.5 ODBC 418
13.6其他的异构源 420
13.7小结 421
第14章 可靠性和可扩展性 423
14.1重新启动包 423
14.1.1简单的控制流 424
14.1.2容器内的容器和检查点 427
14.1.3关于主题的变化 429
14.2包事务 433
14.2.1单个包，单个事务 433
14.2.2单个包，多个事务 435
14.2.3两个包，单个事务 437
14.2.4 使用SQL Server中本机事务的单一包 438
14.3错误输出 439
14.4向外扩展 442
14.4.1体系结构功能 442
14.4.2向外扩展内存压力 443
14.4.3通过暂存数据向外扩展 443
14.4.4使用并行加载来向外扩展 447
14.5小结 454
第15章 理解和优化数据流引擎 455
15.1 SSIS引擎 456
15.1.1理解SSIS数据流和控制流 456
15.1.2使用控制流来处理工作流 458
15.1.3数据流中的数据处理 459
15.1.4内存缓冲区结构 459
15.1.5转换类型 460
15.1.6高级数据流执行概念 468
15.2 SSIS数据流设计和优化 474
15.2.1数据流设计实践 474
15.2.2优化包处理 479
15.2.3排除数据流性能瓶颈 481
15.3管道性能监视 483
15.4小结 485
第16章 SSIS软件开发生命周期 487
16.1软件开发声明周期简介 489
16.1.1 SDLC的简要历史 489
16.1.2 SDLC的类型 489
16.2版本和源代码控制 490
16.2.1 SVN 491
16.2.2 Team Fundation Server、 Team System和SSIS 496
16.3小结 511
第17章 错误和事件处理 513
17.1使用优先约束 513
17.1.1优先约束基础知识 514
17.1.2高级优先约束和表达式 515
17.2事件处理 521
17.2.1事件 522
17.2.2使用事件处理程序 523
17.2.3事件处理程序继承 530
17.3断点 531
17.4错误行 534
17.5日志记录 538
17.5.1日志记录提供程序 538
17.5.2日志事件 539
17.5.3目录日志记录 542
17.6小结 544
第18章 编程和扩展SSIS 545
18.1示例组件 546
18.1.1组件1：源适配器 546
18.1.2组件2：转换 547
18.1.3组件3：目标适配器 547
18.2管道组件方法 547
18.2.1设计时功能 548
18.2.2运行时 551
18.2.3连接时间 553
18.3构建组件 554
18.3.1准备 554
18.3.2构建源组件 559
18.3.3构建转换组件 570
18.3.4构建目标适配器 580
18.4使用组件 587
18.4.1安装组件 587
18.4.2调试组件 588
18.4.3设计时 588
18.4.4构建完整的包 589
18.4.5运行时调试 590
18.5升级到SQL Server 2012 593
18.6小结 593
第19章 向组件添加用户界面 595
19.1设计UI的三个关键步骤：概述 595
19.2构建UI 596
19.2.1添加项目 596
19.2.2实现IDtsComponentUI 599
19.2.3设置UITypename 602
19.2.4构建窗体 604
19.3扩展UI 608
19.3.1运行时连接 609
19.3.2组件属性 611
19.3.3处理错误和警告 613
19.3.4列属性 615
19.4其他UI的注意事项 616
19.5小结 616
第20章 外部管理和WMI任务实现 619
20.1使用托管代码进行SSIS的外部管理 619
20.1.1设置一个用来演示的测试SSIS包 620
20.1.2托管对象模型代码库 620
20.1.3目录管理 622
20.1.4文件夹管理 622
20.1.5环境 624
20.1.6 DTS运行时托管代码库 625
20.1.7 SSIS部署项目 626
20.1.8参数对象 627
20.1.9服务器部署 628
20.1.10执行SSIS包部署到SSIS目录 629
20.1.11 EnvironmentReferences 630
20.2包操作 631
20.3应用程序对象维护操作 631
20.3.1包操作 631
20.3.2包监视 634
20.3.3项目、文件夹和报列表 636
20.3.4包管理示例 637
20.4包日志提供程序 645
20.4.1指定需要记录的事件 647
20.4.2对日志提供程序进行编程 647
20.4.3 SQL Server 2012操作日志 649
20.5包配置 651
20.5.1创建配置 651
20.5.2对配置对象进行编程 653
20.5.3配置对象 653
20.6 WMI 654
20.6.1 WMI数据读取器任务说明 654
20.6.2 WMI数据阅读器示例 655
20.6.3 WMI事件观察器任务 660
20.6.4 WMI事件观察器任务示例 661
20.7小结 663
第21章 通过外部应用程序使用SSIS 665
21.1 InfoPath文档 666
21.2 ASP.NET应用程序 671
21.3 WinForm.NET应用程序 676
21.4小结 684
第22章 管理SSIS 685
22.1使用SSIS目录 685
22.1.1设置SSIS目录属性 686
22.1.2 SSISDB 689
22.2部署模型 689
22.2.1项目部署模型 690
22.2.2包部署模型 692
22.3在SSIS中使用T-SQL 698
22.3.1执行包 698
22.3.2使用参数 700
22.3.3查询表以获取参数值 700
22.3.4使用环境 701
22.3.5使用数据分流 706
22.4创建中央SSIS服务器 707
22.5聚类SSIS 708
22.6包配置 710
22.7命令行实用工具 714
22.7.1 DTExec 714
22.7.2 DTExecUI 715
22.7.3 DTUtil 719
22.8 安全性 720
22.8.1保护ssIs目录 720
22.8.2旧的安全性 723
22.9调度包 724
22.9.1 SQL Server代理 724
22.9.2代理账户 725
22.10 64位问题 727
22.11监视包的执行 728
22.11.1内置报告 728
22.11.2自定义报告 731
22.12性能计数器 731
22.13小结 731
第23章 案例研究：一个编程示例 733
23.1您将学到的内容 733
23.2基本情况 734
23.3业务问题 734
23.4解决方案概述 735
23.5解决方案的体系结构 736
23.5.1为约定和提示命名 738
23.5.2在开始项目之前提供一些额外的SSIS技巧 739
23.6数据体系结构 739
23.6.1文件存储器位置设置 739
23.6.2银行ACH付款 740
23.6.3密码箱文件 740
23.6.4 PayPal或者直接存入公司账户 741
23.6.5案例研究数据库模型 742
23.6.6数据库设置 743
23.7案例研究加载包 752
23.7.1银行文件加载包 752
23.7.2 ACH加载包 776
23.7.3 E-mail加载包 792
23.7.4测试 796
23.8案例研究发票匹配过程 797
23.8.1匹配过程控制流 797
23.8.2匹配过程高可信度数据流 799
23.8.3匹配过程中等可信度数据流 804
23.8.4解释结果 807
23.9创建父驱动程序包 808
23.10小结 808