プログラムが奏功するつまり効果があがれば，そのプログラムをエビデンス・ベースドのプログラムとして”パッケージ化”し普及する。この作業は，プログラムの有効性（effectiveness）を確かめ，その次の段階として，効率性（efficiency）を高めるという流れにかなったものである。

もちろんプログラムにおける社会生態学的妥当性の検証，即ち，実施地域（例：都市部か郊外か）や社会的文脈，対象者（例：社会人か学生か），実施者（例：専門家か非専門家か）などをモニタリングし介入効果にどのような影響を及ぼすかを確認する必要性は前提として常に存在する。さらに，プログラムの内容そして効果は実施時期（時代）の社会・経済的背景に大きく左右されるため（例：キャリア支援のあり方），プログラムの”アップデート”も常に必要である。継続的な質改善・向上（CQI：Continuous Quality Improvement）とも呼ばれる実践である。

プログラム評価の目的は①アカウンタビリティ（evaluation for accountability）と②介入の改善・質向上（evaluation for improvement）に集約されるが，前述のような，介入の効果をしっかりとデータで提示することは，説明責任（アカウンタビリティ）を果たす意味で重要な作業となる。

一方で「効果が認められない場合」あるいは「意図しない効果・副次的な効果が生じた場合」はどうか。これらはプログラム評価研究のもう一つの目的である介入の改善・質向上（②）による対応が求められる。そして実はその対応策の検討が，プログラム評価研究において最も重要なのではないかと考えている。前者の効果が認められない場合いわゆる効果なし（no effect）の現象については，参考文献や事例などでも検討した。実際のところ，これはプログラムの「理論の失敗（問題）」「実施の失敗（問題）」「評価の失敗（問題）」のどれかに当たるとも言える（安田，2008, p. 42, ワードマップ）。

後者の「意図しない効果」や「副次的効果（”副作用”）」についてはどうか。先月の法務総合研究所での講演の際に頂いた質問の一つがこのことについてであり（参考：高橋ほか，2016），通り一遍の回答しかできなかったので（例：意図しない効果も予期・予想できるのであればプログラムの開発段階で検討するとよいなど），自分自身の宿題としていた。

評価研究領域では，Unintended Effectというテーマで非常に多くの研究蓄積・参考文献が存在する。まだ読み切れていないので参考文献のみ提示しておく：

Sherrill, S. (1984). Identifying and measuring unintended outcomes. Evaluation and Program Planning, 7, 27-34.

Morell, J. A. (2005). Why are they unintended consequences of program action, and what are the implications for doing evaluation. American Journal of Evaluation, 26, 444-463.

Welch, W., & Sternhagen, F. (1991). Unintended effects of program evaluation. Evaluation Practice, 12, 121-129.

Bamberger, M., Tarsilla, M., & Hesse-Biber, S. (2016). Why so many “rigorous” evaluations fail to identify unintended consequences of development programs: How mixed methods can contribute. Evaluation and Program Planning, 55, 155-162.

Chen, H. T. (2015, p. 243-, p. 335-) Practical Program Evaluation (2nd ed.) Sage.

※またEvaluation and Program Planningの最新号でも特集あり。

 

参考：高橋哲・只野智弘・星野崇宏（2016）効果的な効果検証？：非無作為化デザインによる刑事政策の因果効果の推定　更生保護学研究，9, 35-57.