プログラム評価論

Ⅰ.授業スケジュール

コミュニティとキャリア [法政大学大学院CD学研究科,2024年度]
プログラム評価論 [東京大学大学院教育学研究科,2024年度]

 

Ⅱ.ディスカッション課題

■ 『プログラム評価(ワードマップ)』(安田,2011)の論点

 

■ 『プログラム評価研究の方法』(安田・渡辺,2008)の論点 ※作成中

  • 第1章:プログラム評価とは
  • 第2章:事前調査とプログラムの検討
  • 第3章:プログラム評価の計画と実施
  • 第4章:プロセス評価
  • 第5章:アウトカム評価
  • 第6章:実験的手法を用いたプログラム評価
  • 第7章:プログラム評価における測定の問題
  • 第8章:さまざまな評価アプローチ
  • 第9章:評価実施についての諸事項

 


Ⅲ.演習ワークシート

Ⅲ-1. プログラム開発について

■問題分析
原因・結果の分析 参考1
問題とプログラムの関係の検討

■ニーズアセスメント
ミクロレベルの検討
メゾ・マクロレベルからの検討

■プログラムの構造化
基本的な構造の検討
ゴール設定
アクティビティのアイデア検討
ロジックモデルの検討

■ステークホルダー分析
関心×権限からの分析参考1参考2参考3
プログラムマネジメントに関して

 

 

Ⅲ-2. プログラム評価について

■ステークホルダー分析
プログラム評価に関して
評価結果の活用に向けて

■評価クエスチョン

評価クエスチョンの設定(参考LINK

■アウトカム評価

アウトカムの検討
因果関係・影響要因の検討(参考LINK
実験デザインの検討

 

 

Ⅲ-3. 演習ワークシート作成についての解説論文(作成中)
・プログラムの開発と評価のためのキャパシティビルディング(2018)PDF
・アカウンタビリティ向上に役立つ視点(2013)PDF [pass]
・プログラムを評価するとは(2019)PDF [pass]
・プログラム評価研究(2022)PDF1 PDF2 [pass]
※pass=ウェブでの公開にはパスワードが必要な論文(授業時にお知らせします)

 

 


Ⅳ.   関連トピックス

■プログラム評価の概要
ベストプラクティス説明論文
評価目的・有効性/集中講義補足
プログラムと評価
ステークホルダー分析
ステークホルダー情報の活用例
サクセスケースメソッド
developmental evaluation
ベストプラクティス
ベンチマーキングによる可視化
評価結果の活用
データに基づく判断
即時的・中長期的アウトカム
プログラムの有効性:efficacyとeffectiveness
フルカバリッジによるコミュニティ介入プログラム
評価の目的と評価者の役割について
データに基づく判断のあり方
社会的インパクト評価の参考資料
意図せぬ効果・副次的な効果
エビデンスに基づかないプログラムの例
質的評価(定義メモ)
実験・準実験デザインが活用されるようになった経緯
行動レベルの評価

 

■評価アプローチ・モデルの例
評価アプローチ・モデルの例(1)
評価アプローチ・モデルの例(2)
評価形式

 

■コミュニティ心理学とプログラム評価
犠牲者非難
価値基盤
エンパワメント論文
質的評価研究
予防科学

■RCTについて
Cook (2002)
Success for All
RCTで効果なし
waiting-list control design
efficacy vs. effectiveness
実験デザイン(心理学)とプログラム評価

■キャパシティビルディング
Evaluation Capacity Building(ECB)
キャパシティビルディング論文 [pass]

■教育開発・トレーニング
システムズ・アプローチ

■クリアリングハウス・ベストプラクティス
What Works Clearninghouseほか

 

 


Ⅴ.プログラム評価に関する実証論文のクリティーク(任意課題)

■グループで作成する評価計画書を提出の他,個人レポートとして作成

Evaluation and Program PlanningまたはAmerican journal of Evaluationのなかから,各自が興味・関心のあるプログラム評価の実証論文1編を探し,下記の内容をもとにレポートを作成:

  1. 評価の背景について(例:なぜ評価が行われたか,評価実施に際しての社会的・学術的背景など)[目安:500字~800字]
  2. プログラム介入の対象・焦点となった「問題」は何か(例:何のための介入であったか)[300字~500字]
  3. プログラムのゴールは何か [100字]
  4. どのようなステークホルダーが存在したか [200字]
  5. 評価において,どのようなアプローチがとられたか(例:依拠する評価の考え方,評価のデザイン、データ収集の方法など)[500字]
  6. 評価結果のまとめ [300字~500字]
  7. 評価結果はどのように活用できるか,活用されるべきか [300字]
  8. 論文全体のクリティーク(批判的検討)[500字~1000字]
    (※形式自由,文字数はあくまで目安)

 

 


Ⅵ.評価アプローチ・モデルの検討(任意課題)

■ 興味・関心のある評価アプローチ・モデルを1つ選び,下記の点を参考にまとめる。順序は入れかえても可:

  1. 当該モデル・アプローチは,評価(プログラム評価)をどう「定義」しているか。評価の意義をどう捉えているか。
  2. 学術的,方法論的,社会・歴史的な発展の背景。
  3. 評価はどのような流れで実施されるか。評価の概要と理論的な枠組みを検討。
  4. どのような「プログラム」の評価に適しているか。どのような「評価の目的」に適しているか。理由も含めて検討する。またプログラムの「価値」はどのように扱われているか。
  5. 「ステークホルダー」がプログラムの実施および評価に果たす役割は何か。
  6. 「評価者」は誰でどのような立場に基づいて評価を行うか。評価者にはどのような専門性が必要か。評価者とステークホルダーの関係性は。
  7. プログラムの「アウトカム」や「インパクト」はどのように定義され,どのようなアプローチによって測定・評価されるべきと考えられているか。
  8. プログラムの「プロセス」はどのようなアプローチによって測定・評価されるべきと考えられているか。
  9. 評価を行うにあたって,何を「エビデンス(客観的根拠)」としているか。科学的データにどのような立場を取っているか。
  10. 評価結果はどのように活用されるべきと考えられているか。
  11. 他のモデルやアプローチとの併用・融合の可否は。「可」の場合は具体的なモデルやアプローチの例を,「否」の場合は理由を。
  12. 当該モデル・アプローチを用いた評価の事例を検討(1つでOK)。もし適切な事例がない場合,簡単な評価計画を検討。

 


Ⅶ.レポート課題:評価計画書の作成

■ 評価を検討しているプログラムの評価計画を立案 [参考]