Chapter 1 方案评估:综览 1
壹 评估的任务 4
一、确认资源是被投入真正需要的地方(确认需求) 4
二、确认规划的方案的确已经在提供服务 5
三、检验服务的成果 6
四、判断哪些服务得到了最好的成果(方案成果评比) 7
五、判断哪些方案所提供的服务是最被需要的(方案需求评比) 7
六、提供必要讯息以改善方案品质(有效监督与管理) 8
七、检查方案是否有预期外的副作用 8
贰 常见的方案评估型式 9
一、需求评估 9
二、过程评估 10
三、成果评估 11
四、效益评估 13
參 容易和方案评估混淆的其他相关活动 14
肆 会影响评估方式的方案特性 15
一、组织类型 15
二、需求的时效 17
三、方案的施行广度 17
伍 方案评估的目的 19
陸 评估者的角色 22
一、三种常见的评估者职位设定 22
二、内部评估人员和外来评估人员的差异 23
三、「评估」和「提供服务」的冲突或相容性 26
四、组织中和评估有关的其他活动 27
柒 结论及下章预告 28
问题研讨 30
延伸阅读资料介绍 30
Chapter 2 拟定评估计划 31
壹 评估模式综览 32
一、传统模式 32
二、社会科学研究模式 33
三、产业检查模式 34
四、黑箱评估 34
五、目标检核评估 35
六、不设定方案目标的评估 35
七、财务评估 36
八、责信模式 36
九、专家意见模式 37
十、自然观察模式 37
十一、充权评估 38
十二、理论导向的评估 38
十三、聚焦于方案改进的评估模式 39
贰 拟定评估计划的步骤 40
一、了解方案及方案关系人 40
二、摸清方案关系人需要哪些资讯 42
三、拟定评估计划 48
參 会破坏方案评估功能的几种态度 53
一、对方案效果过度期待 54
二、担心非专业的方案品质要求 55
三、害怕评估会抑制创新 55
四、害怕方案可能会被终结 56
五、害怕评估资讯被误用 56
六、害怕质化理解被量化数据取代 57
七、害怕评估会消耗方案的资源 57
八、担心不能掌控方案 58
九、担心评估的作用不大 58
十、这些忧虑所造成的影响 59
肆 结论及下章预告 60
问题研讨 60
延伸阅读资料介绍 61
Chapter 3 选择成效指标及设定合格标准 63
壹 有用的成效指标及合格标准 64
一、能反映方案意图的成效指标 65
二、能反映方案工作者的努力 66
三、能被稳定测量 67
四、让方案关系人参与决定 67
贰 确认方案的目标及具体目标项目 69
一、目标应该有多少的共识? 70
二、不同类型的目标 71
三、适用于所有方案的共同目标 74
參 评估指标及评估问题 75
一、方案或计划是否符合关系人的价值观? 75
二、方案或计划是否符合被服务者的需求? 76
三、方案的执行是否能达到规划时的期待? 77
四、方案的成果是否符合目标? 78
五、运用方案理论 81
六、方案被普遍接纳吗? 86
七、投入方案的资源是否被合理使用? 87
八、评估计划是否能敏锐地把不良的副作用检测出来? 89
肆 选择评估指标的实务限制 90
一、评估经费的限制 91
二、时间的限制 91
三、方案关系人是否认同评估指标 92
伍 结论及下章预告 92
问题研讨 93
延伸阅读资料介绍 94
Chapter 4 发展测量工具 95
壹 评估的资料来源 96
一、从方案的预定目标或受益者身上获取资料 96
二、由服务供应者提供资讯 99
三、由观察者提供评估资料 101
四、该采用哪一种资料来源? 104
贰 良好的评量程序 105
一、运用多种变数 105
二、运用非因应型测量 107
三、运用与所需讯息直接相关的变数 107
四、运用有效的测量工具 109
五、运用可靠的测量工具 110
六、运用能侦测变化的测量工具 113
七、运用符合成本效益的测量工具 115
參 成效指标的测量类型 115
一、对方案参与者的书面调查或晤谈 116
二、项目选单、测验、纪录 118
肆 筹备调查工作 119
一、决定调查问题的格式 119
二、拟定调查题目 122
三、指导语及试测 123
伍 结论及下章预告 124
问题研讨 125
延伸阅读资料介绍 126
Chapter 5 方案评估的伦理问题 127
壹 方案评估的执业规范 128
贰 涉及基本人权的伦理议题 130
一、该不该参与方案的考量 130
二、告知并取得同意 131
三、保密原则 132
參 评估者的角色冲突 133
肆 了解不同方案关系人的需求 135
一、方案管理者关心绩效 135
二、工作人员寻求服务输送上的支援 136
三、案主需要适当有效的服务 137
四、其他相关成员要求方案符合成本效益 138
伍 评估的效度问题 138
一、有效的测量工具 138
二、有技巧的资料搜集者 139
三、适当的研究设计 140
四、对方案及评估程序的充分描述 141
陸 避免评估程序可能产生的不良副作用 142
一、有没有人会因为不正确的发现而受伤害 142
二、统计上的第二型错误 144
三、特别注意规划之外产生的效果 145
四、评估者所抱持的隐藏性价值观 146
柒 方案评估的审查机制 147
捌 评估者最常遇到的伦理问题 149
玖 结论及下章预告 150
问题研讨 151
延伸阅读资料介绍 152
Chapter 6 需求评量 153
壹 需求的定义 154
贰 需求评定的资讯来源 156
一、先描述目前处境 156
二、需求的社会指标 158
三、社区需求调查 160
四、目前已有的服务项目 163
五、关键人物 164
六、焦点团体及社区公听会 165
參 不当的需求评量 169
一、没有检查需求 169
二、没有检查需求所在的背景条件 170
三、没有从需求者的角度来设计执行方式 171
四、没有处理案主对需求的漠视 172
肆 将需求评定的结果纳入方案规划中 172
伍 结论及下章预告 174
问题研讨 175
延伸阅读资料介绍 176
Chapter 7 监督方案操作 177
壹 监测方案操作是方案评估的一种形式 178
贰 资讯系统企图整理出哪些东西 180
一、相干的资讯 181
二、方案的实际运作状况 181
三、方案参与者 182
四、服务提供者 182
參 方案纪录与资讯系统 183
一、机构纪录的问题 183
二、增加纪录的用途 183
三、如何用纪录来监督方案 184
四、对每一位谘商师的服务资料作个别报告 193
五、机构的评估者可以自行发展资讯系统吗? 195
六、对资讯系统的不当运用 196
肆 建立资讯系统时应避免的常见问题 199
一、对误用资讯的恐惧 199
二、避免只为某一种群体服务 200
三、避免要求重复记录 200
四、避免增加工作者的负担 200
五、避免过度技术考量 201
伍 结论及下章预告 201
问题研讨 202
延伸阅读资料介绍 203
Chapter 8 单案非实验性成果评估 205
壹 单案评估设计 205
一、方案执行后的观察 205
二、方案执行前后的观察 206
贰 运用单案描述性设计 207
一、参与者是否符合某些标准? 207
二、参与者是否有进步? 207
三、参与者进步程度是否足够? 208
四、有意义的改变与方案强度及参与者特质的相关性 212
參 内在效度的威胁 215
一、因参与者本身变化而可能产生的改变 216
二、因被观察的样本是谁而可能产生的改变 217
三、因观察方法而可能产生的改变 221
四、这些威胁互动的影响 222
五、内在效度的威胁是两面刃 222
肆 前后测设计的建构效度 223
伍 过度诠释单案设计结果 224
陸 单案设计做为方案评估研究初期方法的优点 226
一、衡量进行更严谨评估的必要性 226
二、找出可能与方案成功有关的变项 227
三、为机构将来进行更严谨的评估做预备 227
柒 结论及下章预告 229
问题研讨 229
Chapter 9 准实验研究设计的成果评估 231
壹 进行多次观察 232
贰 时间序列设计 235
一、时间序列设计的分析 238
參 观察其他组别 242
一、非同等控制组设计 242
二、选择比较组的问题 244
肆 回归非连续(间断)设计 249
伍 观察其他依变项 251
陸 结合不同设计以增加内在效度 254
一、时间序列与非同等控制组的设计 254
二、选择性控制设计 257
柒 结论及下章预告 260
问题研讨 260
延伸阅读资料介绍 261
Chapter 10 实验研究设计的方案评估 263
壹 方案评估的实验设计 263
一、实验的好处 263
二、实验研究设计 264
贰 反对实验的理由 266
一、不要实验我! 268
二、我们已经知道什么是最好的 268
三、我知道什么对我的案主最好 269
四、实验太麻烦了 270
參 进行实验的适当时机 271
一、引进新方案时 271
二、当投入的资源较高时 272
三、当方案成效有争议时 273
四、当政策需要改变时 274
五、当需求高时 274
肆 从实验设计中得到最大效果 276
一、资料搜集前的注意事项 276
二、当实验进行时,追踪随机原则的执行 278
三、审慎分析资料 280
伍 结论及下章预告 282
问题研讨 283
延伸阅读资料介绍 284
Chapter 11 成本及成果的分析 285
壹 成本分析及预算 286
一、成本类型 286
二、预算范例 288
三、计算成本的必要性 289
贰 比较成果与成本 291
一、成本效益分析的要素 292
二、成本效能分析的要素 295
三、当成果的单位无法相同时 296
參 成本分析的细节 297
一、分析的单位 297
二、未来的成本与效益 299
三、谁支付成本及谁获得效益 301
四、使用成本效益及成本效能分析 304
肆 对成本分析的批判 305
一、心理效益 305
二、生命的价值 305
三、这样的思考是否贬抑生命 307
四、成本效益及成本效能分析需要许多假设 307
伍 结论及下章预告 308
问题研讨 309
延伸阅读资料介绍 310
Chapter 12 质化评估方法 311
壹 适合采用质化评估的情况 312
一、研究所入学甄选程序的评估 313
二、图书馆馆藏遭抱怨的相关评估 314
三、竞选宣传的评估 315
贰 如何取得质化资料 316
一、观察者的关键地位 316
二、质化观察法 318
三、质化访谈法 322
參 自然观察评估 325
一、阶段一:开放(不受任何限制)的观察 325
二、阶段二:整合印象 326
三、阶段三:初步结论的释出与分享 326
四、阶段四:撰写报告 327
五、质化评估是主观的吗? 328
肆 质化与量化方法的相互支援和整合 329
一、评估主旨 329
二、理解加之后的重心转移 330
三、评估问题 330
四、评估的花费 331
伍 哲学上的预设条件 331
陸 结论及下章预告 332
问题研讨 333
延伸阅读资料介绍 334
Chapter 13 评估报告:评估结果的诠释与沟通 335
壹 拟定沟通计划 336
一、了解方案关系人需要哪些讯息 336
二、规划发表会 336
三、配合组织的行事历 337
贰 当面报告评估结果 339
一、为什么需要当面报告 339
二、当面报告的内容 340
三、当面报告的听众群 343
參 正式书面报告的内容 343
一、正式书面报告的目的 344
二、报告大纲 344
三、评估的背景脉络的介绍 346
四、描述方案参与者的特点 347
五、说明评估指标的选择标准和理由 347
六、描述资料搜集过程 348
七、呈现评估结果 348
八、提出建议 353
九、正式评估报告的格式 354
肆 进度报告与媒体发布 355
伍 结论及下章预告 355
问题研讨 356
延伸阅读资料介绍 357
Chapter 14 如何增加评估的用途 359
壹 运用评估结果时有哪些障碍 360
一、管理上的限制 360
二、方案关系人之间的价值冲突 360
三、不适当的评估方法造成无效的评估 361
四、评估者对方案欠缺近距离的接触了解 362
贰 如何处理不一致的发现 363
一、不要规避责任 363
二、不要避重就轻、投机取巧 364
三、清楚指出如何运用评估结果来改进方案 364
參 发现一个创新方案并不比旧方案更好,有什么帮助 365
一、评估者如何认定效果并没有发生? 366
二、当发现创新方案不能达到更好的效果时,评估发现仍有其价值吗? 367
肆 促发一个肯学习的组织文化 368
一、与方案关系人长期合作 369
二、从发展的观点来理解评估 369
三、从改进的角度来理解评估结果 372
四、将评估结果看作暂时指标,而非最终答案 372
五、重视服务提供者的需求 373
六、将评估结果纳入机构议程中 373
伍 重要的评估态度 375
陸 结论及方案评估的未来发展 377
问题研讨 378
延伸阅读资料介绍 379
名词索引 381