プログラム評価論 – プログラム評価ラボ

Ⅰ．授業スケジュール

■ コミュニティとキャリア [法政大学大学院CD学研究科，2024年度]
■ プログラム評価論 [法政大学キャリアデザイン学部，2025年度-]

Ⅱ．ディスカッション課題

■ 『プログラム評価（ワードマップ）』（安田，2011）の論点

第1部：プログラム評価とは何か
第2部：プログラムのプランニングとマネジメント
第3部：プログラム評価の方法
第4部：実験デザインに基づく評価
第5部：評価実践の報告とスタンダード（要検討）
※ 集中講義・短縮版
※ プログラム評価

■ 『プログラム評価研究の方法』（安田・渡辺，2008）の論点　※作成中

第1章：プログラム評価とは
第2章：事前調査とプログラムの検討
第3章：プログラム評価の計画と実施
第4章：プロセス評価
第5章：アウトカム評価
第6章：実験的手法を用いたプログラム評価
第7章：プログラム評価における測定の問題
第8章：さまざまな評価アプローチ
第9章：評価実施についての諸事項

Ⅲ．演習ワークシート

Ⅲ-1. プログラム開発について

■問題分析
・原因・結果の分析参考1
・問題とプログラムの関係の検討

■ニーズアセスメント
・ミクロレベルの検討
・メゾ・マクロレベルからの検討

■プログラムの構造化
・基本的な構造の検討
・ゴール設定
・アクティビティのアイデア検討
・ロジックモデルの検討

■ステークホルダー分析
・関心×権限からの分析（参考1，参考2，参考3）
・プログラムマネジメントに関して

Ⅲ-2. プログラム評価について

■ステークホルダー分析
・プログラム評価に関して
・評価結果の活用に向けて

■評価クエスチョン
・評価クエスチョンの設定（参考LINK）

■アウトカム評価
・アウトカムの検討
・因果関係・影響要因の検討（参考LINK）
・実験デザインの検討

Ⅲ-3. 演習ワークシート作成についての解説論文（作成中）
・プログラムの開発と評価のためのキャパシティビルディング（2018）PDF
・アカウンタビリティ向上に役立つ視点（2013）PDF [pass]
・プログラムを評価するとは（2019）PDF [pass]
・プログラム評価研究（2022）PDF1 PDF2 [pass]
※pass=ウェブでの公開にはパスワードが必要な論文（授業時にお知らせします）

■評価アプローチ・モデルの例
・評価アプローチ・モデルの例（１）
・評価アプローチ・モデルの例（２）
・評価形式

■コミュニティ心理学とプログラム評価
・犠牲者非難
・価値基盤
・エンパワメント論文
・質的評価研究
・予防科学

■RCTについて
・Cook (2002)
・Success for All
・RCTで効果なし
・waiting-list control design
・efficacy vs. effectiveness
・実験デザイン（心理学）とプログラム評価

■キャパシティビルディング
・Evaluation Capacity Building（ECB）
・キャパシティビルディング論文 [pass]，

■教育開発・トレーニング
・システムズ・アプローチ

■クリアリングハウス・ベストプラクティス
・What Works Clearninghouseほか

Ⅴ．プログラム評価に関する実証論文のクリティーク（任意課題）

■グループで作成する評価計画書を提出の他，個人レポートとして作成

Evaluation and Program PlanningまたはAmerican journal of Evaluationのなかから，各自が興味・関心のあるプログラム評価の実証論文1編を探し，下記の内容をもとにレポートを作成：

評価の背景について（例：なぜ評価が行われたか，評価実施に際しての社会的・学術的背景など）［目安：500字～800字]
プログラム介入の対象・焦点となった「問題」は何か（例：何のための介入であったか）[300字～500字]
プログラムのゴールは何か [100字]
どのようなステークホルダーが存在したか [200字]
評価において，どのようなアプローチがとられたか（例：依拠する評価の考え方，評価のデザイン、データ収集の方法など）[500字]
評価結果のまとめ [300字～500字]
評価結果はどのように活用できるか，活用されるべきか [300字]
論文全体のクリティーク（批判的検討）[500字～1000字]
（※形式自由，文字数はあくまで目安）

Ⅵ．評価アプローチ・モデルの検討（任意課題）

■ 興味・関心のある評価アプローチ・モデルを1つ選び，下記の点を参考にまとめる。順序は入れかえても可：

当該モデル・アプローチは，評価（プログラム評価）をどう「定義」しているか。評価の意義をどう捉えているか。
学術的，方法論的，社会・歴史的な発展の背景。
評価はどのような流れで実施されるか。評価の概要と理論的な枠組みを検討。
どのような「プログラム」の評価に適しているか。どのような「評価の目的」に適しているか。理由も含めて検討する。またプログラムの「価値」はどのように扱われているか。
「ステークホルダー」がプログラムの実施および評価に果たす役割は何か。
「評価者」は誰でどのような立場に基づいて評価を行うか。評価者にはどのような専門性が必要か。評価者とステークホルダーの関係性は。
プログラムの「アウトカム」や「インパクト」はどのように定義され，どのようなアプローチによって測定・評価されるべきと考えられているか。
プログラムの「プロセス」はどのようなアプローチによって測定・評価されるべきと考えられているか。
評価を行うにあたって，何を「エビデンス（客観的根拠）」としているか。科学的データにどのような立場を取っているか。
評価結果はどのように活用されるべきと考えられているか。
他のモデルやアプローチとの併用・融合の可否は。「可」の場合は具体的なモデルやアプローチの例を，「否」の場合は理由を。
当該モデル・アプローチを用いた評価の事例を検討（1つでOK）。もし適切な事例がない場合，簡単な評価計画を検討。

Ⅶ．レポート課題：評価計画書の作成

■ 評価を検討しているプログラムの評価計画を立案 [参考]