プログラム評価論

「コミュニティとキャリア」(大学院)「プログラム評価論」(大学院・学部)およびゼミにおけるレクチャーでのディスカッション・演習課題(随時更新)

参考:レクチャー, プログラム評価

 


Ⅰ.ディスカッション課題 

『プログラム評価(ワードマップ)』(2011)

■ 第1部: プログラム評価とは何か

■ 第2部: プログラムのプランニングとマネジメント

■ 第3部: プログラム評価の方法

■ 第4部: 実験デザインに基づく評価

■ 第5部: 評価実践の報告とスタンダード(要検討)

(参考:プログラム評価ベストプラクティス・アプローチ

集中講義・短縮版(ディスカッション課題)

 


Ⅱ.『演習ワークシート』

Ⅱ-1. プログラム開発について

■問題分析
原因・結果の分析
問題とプログラムの関係の検討

■ニーズアセスメント
ミクロレベルの検討
メゾ・マクロレベルからの検討

■ステークホルダー分析
関心×権限からの分析参考1参考2参考3
プログラムマネジメントに関して

■プログラムの構造化
基本的な構造の検討
ゴール設定
アクティビティのアイデア検討
ロジックモデルの検討


Ⅱ-2. プログラム評価について

■ステークホルダー分析
プログラム評価に関して
評価結果の活用に向けて

■評価クエスチョン

評価クエスチョンの設定(参考LINK

■アウトカム評価

アウトカムの検討
因果関係・影響要因の検討(参考LINK
実験デザインの検討

 


Ⅲ.   関連トピック

■プログラム評価の概要
評価目的・有効性/集中講義補足
プログラムと評価
ステークホルダー分析
サクセスケースメソッド
developmental evaluation
ベストプラクティス
ベンチマーキングによる可視化
評価結果の活用
データに基づく判断
即時的・中長期的アウトカム
プログラムの有効性:efficacyとeffectiveness
フルカバリッジによるコミュニティ介入プログラム
評価の目的と評価者の役割について
データに基づく判断のあり方
社会的インパクト評価の参考資料
意図せぬ効果・副次的な効果

 

■評価アプローチ・モデルの例
評価アプローチ・モデルの例(1)
評価アプローチ・モデルの例(2)
評価形式

 

 

■コミュニティ心理学とプログラム評価
犠牲者非難
価値基盤
エンパワメント論文
質的評価研究
予防科学

■RCTについて
Cook (2002)
Success for All
RCTで効果なし
waiting-list control design
efficacy vs. effectiveness
実験デザイン(心理学)とプログラム評価

■キャパシティビルディング
Evaluation Capacity Building(ECB)
キャパシティビルディング論文 [pass]

■教育開発・トレーニング
システムズ・アプローチ

■クリアリングハウス・ベストプラクティス
What Works Clearninghouseほか

 

 


Ⅳ.プログラム評価に関する実証論文のクリティーク(任意課題)

■グループで作成する評価計画書を提出の他,個人レポートとして作成

Evaluation and Program PlanningまたはAmerican journal of Evaluationのなかから,各自が興味・関心のあるプログラム評価の実証論文1編を探し,下記の内容をもとにレポートを作成:

  1. 評価の背景について(例:なぜ評価が行われたか,評価実施に際しての社会的・学術的背景など)[目安:500字~800字]
  2. プログラム介入の対象・焦点となった「問題」は何か(例:何のための介入であったか)[300字~500字]
  3. プログラムのゴールは何か [100字]
  4. どのようなステークホルダーが存在したか [200字]
  5. 評価において,どのようなアプローチがとられたか(例:依拠する評価の考え方,評価のデザイン、データ収集の方法など)[500字]
  6. 評価結果のまとめ [300字~500字]
  7. 評価結果はどのように活用できるか,活用されるべきか [300字]
  8. 論文全体のクリティーク(批判的検討)[500字~1000字]
    (※形式自由,文字数はあくまで目安)

 

 


Ⅴ.評価アプローチ・モデルの検討(任意課題)

■ 興味・関心のある評価アプローチ・モデルを1つ選び,下記の点を参考にまとめる。順序は入れかえても可:

  1. 当該モデル・アプローチは,評価(プログラム評価)をどう「定義」しているか。評価の意義をどう捉えているか。
  2. 学術的,方法論的,社会・歴史的な発展の背景。
  3. 評価はどのような流れで実施されるか。評価の概要と理論的な枠組みを検討。
  4. どのような「プログラム」の評価に適しているか。どのような「評価の目的」に適しているか。理由も含めて検討する。またプログラムの「価値」はどのように扱われているか。
  5. 「ステークホルダー」がプログラムの実施および評価に果たす役割は何か。
  6. 「評価者」は誰でどのような立場に基づいて評価を行うか。評価者にはどのような専門性が必要か。評価者とステークホルダーの関係性は。
  7. プログラムの「アウトカム」や「インパクト」はどのように定義され,どのようなアプローチによって測定・評価されるべきと考えられているか。
  8. プログラムの「プロセス」はどのようなアプローチによって測定・評価されるべきと考えられているか。
  9. 評価を行うにあたって,何を「エビデンス(客観的根拠)」としているか。科学的データにどのような立場を取っているか。
  10. 評価結果はどのように活用されるべきと考えられているか。
  11. 他のモデルやアプローチとの併用・融合の可否は。「可」の場合は具体的なモデルやアプローチの例を,「否」の場合は理由を。
  12. 当該モデル・アプローチを用いた評価の事例を検討(1つでOK)。もし適切な事例がない場合,簡単な評価計画を検討。

 


Ⅵ.『レポート課題:評価計画書の作成』

■ 評価を検討しているプログラムの評価計画を立案 [参考]