Kalaft, J. & Illback, R. (1998). A qualitative evaluation of school-based family resource and youth service centers. American Journal of Community Psychology, 26, 573-604.

コミュニティ心理学領域での質的アプローチに基づいたプログラム評価研究。
プログラムが標準化（standardized）されておらず，導入にあたって現場の裁量が大きい場合，つまり現場の状況や利用者のニーズに応じて柔軟にプログラムの内容や提供方法に修正・変更が加えられる場合，どのようにプログラムを評価すればよいのか。実際，多くの包括的（”wraparound”）なプログラムは，標準化されていないことが多いため，そもそも何をどのように評価すればよいのかすら分からなくなるケースが多い。

この研究は，若者センター（Youth Service Center）で実施されるプログラムを対象としている。評価を行うにあたり，①「プログラムの可視化（Wave 1: Opening the Black Box）」，②「テーマの確認（Wave 2: Confirming Themes）」，③「センターの進捗状況のプロファイリング（Wave 3: Profiling Center Progress）」の3つの段階が設定され，複数の現場での観察および多様なステークホルダーからのインタビューなど質的アプローチによる評価（質的評価：Qualitative Evaluation）が実施された。また，方法論的観点からも，質的評価に関する重要文献を参考に（例：Patton, 1990），量的評価（Quantitative Evaluation）ではなく質的評価を用いる意義がしっかりとレビューされている。（ただ実際には，Wave 3のプロファイリングでは各テーマの定量的な評定が試みられている点では，混合法による評価と言えなくもない）

まずWave 1では，“ブラックボックスを開くために”，包括的なサービスとは何か，地域コミュニティ，家族・家庭，学校生活が果たす役割やコーディネーターの役目は何かといった内容が探究された。それを受けWave 2で6つの領域（ニーズアセスメント・学校との関係性・コミュニティとの関係性・家庭との関係性・諮問委員会・ミッションの焦点化）にわたるテーマが確認された。最後のミッションの焦点化では，”mission drift”，つまりプログラムの活動方針（ミッション）が変化していないか（ブレていないか）がチェックされた。Wave 3では，6領域に関してのプロファイリングおよび評定が行われた。例えば，「学校との関係」というテーマでは，①コネクテッドネス（つながり・絆），②責任者からのサポート，③責任者の家族の関与への態度，④親の関与についての教師の受け入れ，⑤教師とセンターとの関係性，⑥学校でのパフォーマンス（教育効果）の認識の6つが抽出された。

同様の状況設定・問題意識をもとに，Mercier et al.（2000）では，インタビューによるコンセプトマップ法（concept mapping）を用いたユースセンターのプログラムの可視化が行われている（参考：安田・渡辺，2008, p. 193-195）。

Mercier, Piat, Peladeau, & Dagenais (2000). An application of theory-driven evaluation to a drop-in youth center. Evaluation Rview, 24, 73-91.

 

ディスカッション：Kalaft & Illback（1998）の批判的検討および他の活動やプログラムへの応用可能性の検討。