1 项目评估:概览 1
需要完成的评估任务 3
查证资源将会被用于满足未曾满足的需求 3
查证实施了的项目的确提供了服务 4
清查相关的结果 4
断定哪些项目会产生最有利的结果 4
选择那些能够提供出最需要的服务类型的项目 5
提供信息以保持并改善质量 5
发现未预见到的副作用 5
项目评估的常见类型 6
评价项目参与者的需求 6
检视满足需求的过程 6
测度项目的各种结果 7
整合需求、成本与结果 8
容易与项目评估混淆的活动 9
针对不同种类的项目实施不同类型的评估 10
需要项目评估活动的组织机构 10
需求的时间框架 11
项目的范围外延 11
项目评估的目标 12
评估师的作用 14
工作背景的多样性 14
比较内部评估师与外部评估师 15
评估与服务 16
评估与相关的机构活动 17
2 规划一次评估 20
评估模型概述 21
传统模型 21
社会科学研究模型 21
产业侦测模型 22
黑箱评估 22
基于目标的评估 22
不受目标约束的评估 22
资金评估 23
责任模型 23
专家观点模型 23
自然主义模型或定性模型 24
成功案例法 24
授权评估 24
理论驱动的评估 25
关注于改进的方法 25
准备开展评估的步骤 26
识别项目与利益相关者 26
熟悉所需的信息 27
规划评估 30
摒弃评估无用的观点 34
假定项目是完美的 34
担心评估会冒犯员工 35
担心评估会抑制创新 35
担心项目会被终止 35
担心信息会被误用 36
担心定性的理解会被取代 36
担心评估会耗费项目资源 36
担心失去对项目的控制 37
担心评估没有影响力 37
这些观点的效果 37
3 选择准则并确定标准 40
有用的各种准则和标准 41
反映项目目标的准则 41
员工能够影响的准则 42
能够可靠而有效地度量的准则 42
利益相关者参与选择的准则 43
开发各种目标 44
关于目标需要达成多少一致? 44
不同的目标类型 45
可以应用于所有项目的目标 47
评估的准则与评估的目标 47
项目或规划跟利益相关者的价值观相匹配吗? 47
项目或计划跟将要接受服务的人群的要求相匹配吗? 48
项目是否如约实施了? 48
取得的结果跟目标相匹配吗? 49
使用项目理论 51
项目被接受了吗? 54
分配给项目的资源花费得合适吗? 55
选择评估准则时一些实际的限制 58
评估预算 58
评估工作可用的时间 58
对利益相关者而言是可信的准则 58
4 开发度量方法 61
评估中所用数据的来源 61
项目的预期受益人 62
服务的提供者 64
观察者 65
应该使用哪一种来源? 67
好的评估程序 68
使用多个变量 68
使用非反应性测度方式 69
使用跟所需信息相关的各种变量 70
使用有效的测度方式 70
使用可靠的测度方式 71
使用能够侦测出变化的测度方式 73
使用成本—效益测度方式 74
评估准则的测量类型 74
书面调研与针对项目参与人的访谈 75
各种一览表、测试与记录 76
准备特定的调研 77
调研的形式 77
准备调研题项 79
操作指南书与预先测试 80
5 项目评估中的伦理 82
适于评估实践的标准 83
与人交涉的伦理问题 84
对无效的、新型的治疗进行补偿 84
获得知情同意 85
保守机密性 85
评估师面对的角色冲突 86
识别不同利益相关者的各种需求 87
项目管理者考虑的是效率 87
员工寻求的是服务提供过程中的帮助 88
客户需要的是有效的和合适的服务 88
社区成员需要的是符合成本—效率原则的项目 89
评估的有效性 89
有效的测量工具 89
技能熟练的数据搜集者 90
合适的研究设计 90
项目与程序的充分描述 91
避免评估程序的可能的消极副作用 92
不准确的发现会伤害某些人吗? 92
考虑统计学中的第二类错误 93
留心于各种未筹划到的效应 93
分析评估师持有的内隐价值观 94
机构审查委员会与项目评估 95
评估师所报告的伦理问题 96
6 评估需求 99
需求的定义 100
针对需求评估的信息来源 101
描述现实状况 101
需求的社会性指标 102
针对需求进行社区调研 104
已经可用的服务 105
主要的信息提供人员 107
焦点小组与开放式座谈会 108
不充分的需求评估 110
没有审视需求 110
没有审视需求的背景 111
没有把需求跟要实施的计划结合起来 111
没有处理好对需求忽视的问题 112
在项目规划中使用需求评估 112
7 管控项目的运营 115
作为项目评估手段的项目管控 116
需要利用信息系统总结出的内容 117
重要的信息 118
项目的真实状态 118
项目参与者 118
服务的提供者 118
项目记录与信息系统 119
机构记录的问题 119
增强记录的有用性 119
如何利用记录来管控项目 120
为每一个治疗师独立地报告信息 125
为机构开发信息系统 127
针对信息系统的具有威胁性的使用 128
在使用信息系统时,要避免常见的问题 131
防犯对信息的误用 131
避免设定武断的标准 131
避免仅仅服务于一个团体的需求 131
避免复制记录 132
避免增加员工们的工作 132
避免仅关注于技术 132
8 定性评估方法 134
最好由定性方法进行评估的情形 135
研究生入学申请 136
不满意于图书馆的收藏 136
评估一次政治运动 137
搜集定性信息 138
观测者的核心重要性 138
观测方法 139
通过访谈获得定性信息 142
执行自然主义的评估 144
第一阶段:进行不受制约的观察 144
第二阶段:整合印象感觉 144
第三阶段:分享解释 145
第四阶段:准备报告 145
定性评估是主观的吗? 146
协调定性的与定量的方法 146
评估的内容实质 147
从多数成功的参与者那里获得洞见 147
随着理解的扩展,改变重点 147
评估的问题 148
评估的成本 148
哲学上的假定 149
9 单组、非实验的结果评估 152
单组评估的设计 152
仅在项目之后进行观测 152
在项目之前与之后进行观测 153
使用单组的、描述性的设计 154
参与人符合标准吗? 154
参与人有改善提高吗? 154
参与人改善提高得足够大吗? 154
把改变联系到服务强度和参与者特征上来 157
对内部效度的威胁 161
发生在参与者身上的、真实但却跟项目无关的改变 161
依赖于被观测者是谁的表面变化 162
跟获得观测值的方法相关的变化 164
这些威胁交互作用的效应 165
对内部效度的威胁是把双刃剑 165
在前测—后测设计中的建构效度 166
过度解释了单组设计的结果 167
在作为项目评估的初始方法时,单组设计的有用性 168
评价更深入的评估的有用性 168
把改善跟其他变量联系起来 168
为便利于更深入的评估而做准备 169
10 针对结果评估的准实验方法 172
进行大量的观测 173
时间序列数据的设计 175
跨期结果的模式 176
对时间序列设计进行分析 177
对其他组进行观测 180
非等同控制组设计 180
选择比较组时的问题 181
断点回归设计 184
观测其他的因变量 188
为增强内部效度而结合使用多种设计 188
时间序列与非等同控制组 188
选择性控制设计 189
11 利用实验进行项目评估 193
项目评估中的实验 193
实验的好处 193
实验的设计 194
反对实验的理由 196
不要在我的身上进行实验! 196
我们已经知道最好的是什么了 196
我知道怎么做对客户是最好的 197
实验真是太麻烦了 197
最适宜于进行实验的时间 198
在引入新项目的时候 198
在利益很大的时候 199
在对项目的有效性存在争议的时候 199
当政策改变正是人们想要的时候 200
当需求高涨的时候 201
要从实验设计中得到最多的信息 201
在数据搜集之前采取预防措施 201
在实验的过程中追踪随机化的情况 203
带着反思来分析数据 204
12 分析成本与效果 207
成本分析与预算 208
成本的类型 208
关于预算的一个例子 209
仔细分析成本问题的必要性 209
比较成本与效果 211
成本—收益分析的精髓 211
成本—效率分析的精髓 213
当效果无法被整合进同样的单位的时候 214
成本分析的某些细节 215
分析单位必须反映项目的目标 215
估算未来的成本与收益 216
是谁支付成本而又是谁得到了收益? 217
使用成本—收益分析与成本—效率分析 218
针对成本分析的主要批评 220
心理上的收益难于估算 220
为生命制定价格似乎是错误的 220
成本—收益与成本—效率分析需要很多假定 222
13 评估的报告:解释并交流结果 224
形成交流方案 225
探究利益相关者的信息需求 225
规划若干次报告会 225
设定交流日程安排 226
结果的亲自演示 226
对亲身演示的需求 227
亲自演示的内容 228
亲自演示时所要面对的听众 229
分发报告的草稿 230
最终的书面评估报告的内容 230
牢记正式报告要实现的目标 230
提供出大纲与概要 231
描述评估的背景 231
描述项目的参与者 232
为选择的准则提供辩护 233
描述数据搜集过程 233
提供结果 233
形成各种建议 236
正式的报告应该看起来吸引人 237
提供进程报告与新闻稿 238
14 鼓励对报告的利用 240
针对有效利用的障碍 241
对管理者的约束 241
利益相关者之间的价值冲突 241
对方法论的误用 241
在可及范围内评估项目 242
处理混杂的评估结果 242
不要放弃你的责任 242
不要图省事而回避困难 243
展示如何使用评估结果改善项目 243
在创新型的项目并没有比其他方案更好时,如何使用评估结果 244
何种情况下评估师能够确定各组之间是无差异的? 244
如果创新没有优势,评估结果也有价值吗? 245
发展一种学习型文化 246
与利益相关者一起工作 246
采纳有启发的解释 247
利用改进意见形成发现 248
将评估结果当成试验性指标,而不是最终结论 249
要认识到服务提供者的需求 249
把评估的结果安排到机构的议事日程之中 250
对评估应该持有的态度 251
附录 项目评估报告示例 254
参考文献 267