ディスカッション課題（プログラム評価論，2019年度）

第1部：プログラム評価とは何か

 

■ 1-1. プログラム 【pp. 2-6】

  1. プログラム評価が対象とするプログラムとは「何らかの問題解決や目標達成を目的に人が中心となって行う実践的介入」のことを指すが，身近にあるプログラムの例は何か。自らが参加したもの，見聞きしたもの，あるいは運営等に携わったことのあるものなど具体例を挙げる。
  2. プログラムと同じような概念にサービスがある。両者に違いはあるか。もしあるとすれば，その違いは何か（参考：提供される価値と支払う対価の関係など）。
  3. 「利用者」「参加者」の視点が大切であるが，それをプログラム（の効果）と結びつけて考えるのは難しい。なぜか。

■ 1-2. 評価　【pp. 7-14】

  1. 「評価」と聞いて何をイメージするか。学校の成績評価，仕事の業績評価，ホテルやレストランの評価（格付け）以外で具体例はあるか。
  2. 「価値」の問題を抜きにして評価について考えることはできない。なぜか。
  3. スクリヴェン，ロッシ，ウェイス，チェン，パットンによる評価（プログラム評価）の定義について，①それぞれの共通点と相違点を挙げ，②自分自身が評価を行う際に参考になるであろう（拠って立つ）評価の定義はどれか。つまり，どの評価の定義が自分自身の評価活動にフィットすると考えられるか。理由も含めて考える。

■ 1-3. 調査との違い　【pp. 15-18】

  1. 調査と評価における「探求（※探究）の焦点」の違いについて，どこがどう違うのか。
  2. 「結果の一般性」の違いについて。なぜ調査の場合には重視され，評価の場合はそこまで重視されないのか（優先順位が低くなるのか）。

■ 1-4. 評価目的　【pp. 19-38】

  1. プログラム評価が対象とするプログラムは，「多くが利用者の健康や福利というそもそも貨幣価値に置き換えにくいものをターゲットとしている」（p. 19）。『1-1. プログラム』の1で挙げた例を参考にして考えてみる。
  2. 逆に，もし仮に，貨幣価値につながる経済的効果として捉えることが可能であるとした場合，どのように貨幣価値・経済的効果を定義し測定することが出来るか。[追加：そのような試みに賛成か反対か。理由は。
  3. 「プログラムの質向上への視点」（p. 24）の4つの視点を確認したうえで，自身のプログラムの例で検討する。
  4. 評価研究によって得られる「知識」とは何か。評価を予定しているプログラム（計画でも可）を具体例にとって考える（pp. 34-35）。
  5. 「評価結果を誰がどのように利用するのか」という疑問点について，自身のプログラムに沿って具体的に考える（pp. 36-37）。
  6. 11について，各ステークホルダー（利用者・実践者・運営者・資金提供者・評価者など）が有する「価値」を明らかにする。そして，評価においてどの（誰の）価値が優先されるべきかを考える。優先されるべき理由は何か。（pp. 37）。
  7. 補足①：プログラムの評価目的の変遷（LINK）
  8. 補足②：評価の目的と評価者の役割について（LINK）。
  9. 補足③：支援者は利用者の「アウトカム」に対してどの程度，責任を持つべきであるか。アウトカムの有無や多寡に（支援者側に対して）競争原理を持ち込むことの功罪（作用・副作用）は何か。支援サービスやプログラムを提供する側における「クオリティ」を担保することだけで十分か否か。例えば，教育（教師⇔生徒），医療（医療従事者⇔患者），ビジネス（生産側・販売側⇔消費者，自動車など）。

■ 1-5. 評価者　【pp. 39-46】

  1. 人は日常生活において様々な評価をしている。何をいつどのように評価しているか。出来るだけ多くの具体例を挙げる。日常生活で使用する評価に類する概念は他に何があるか（p. 39）。
  2. 評価者の基本姿勢について。評価者は「理論家に対して」「実践家に対して」どのようなスタンスをとることが必要か【重要】 (pp. 39-40)。
  3. 実践家の役目はプログラムの効果を信じる（believe）ことで，評価者の役目はそれを疑う（doubt）ことであるとよく言われる。この意見を支持するか，しないか。理由も含めて検討する（pp. 40）。(LINK)
  4. 評価者には「あいまいさ」が必要である。どういうことか（p. 42）。
  5. 評価目的別の役割とスキル（p. 43, 表1）を確認。
  6. 評価者には時として「役割葛藤」が生じることがある。どういうことか。また自身がプログラム評価を行ううえで予想される役割葛藤とは何か。

 

 

 

第2部： プログラム評価とは何か

 

■ 2-1. プログラムの実施背景　【pp. 48-55】

  1. プログラムの実施背景は「問題解決」「予防と促進」「教育や訓練」に大別される。それぞれの具体例を挙げる（p. 48-49）。
  2. 「一口に問題解決と言っても，プログラムによって解決が求められる問題の多くは・・・（中略）・・・社会的文脈の中にいわば埋め込まれている場合がほとんどです」（p. 50)。「いじめ」以外の具体例を考える。
  3. 自身のプログラムが予防・促進を目的としたものである場合，一次・二次・三次予防のうちどれに当てはまるか（p. 52）。

■ 2-2. プログラムニーズ　【pp. 56-64】

  1. ビジネスにおけるニーズとヒューマンサービスにおけるニーズの違いは何か（p. 56-57）。
  2. ニーズの把握が難しいとされる理由は何か（p. 58-59）。

■ 2-3. ニーズアセスメント　【pp. 65-77】

  1. 自身のプログラムのニーズアセスメントを「社会指標法」「フィールド調査」「コミュニティフォーラム」「キーインフォーマントへのヒアリング」の4つのうちどれか（または全て）で行う場合，どこで誰からどのように情報（データ）を収集するか（pp. 68-76）。

■ 2-4. リソースアセスメント　【pp. 78-82】

  1. なぜニーズアセスメントだけでなく，リソースアセスメントも併せて行うのが得策なのか（pp. 78-79）。
  2. 自身のプログラムを参考に「地域コミュニティ」「組織」「家族・友人」「個人」の各レベルのリソースを分類する（pp. 79-82）。

■ 2-8. 評価可能性アセスメント　【pp. 121-129】
　（2-5から2-7の項目はワークで検討）

  1. 評価可能性アセスメントの定義を確認。評価可能性アセスメントはどのようなプログラムや実施状況において必要性が高いのか。
  2. 評価可能性が高いプログラムにはどのような特徴があるかを確認。
  3. 評価可能性アセスメントにおけるプログラム分析の焦点は何か。
  4. 自身が評価計画を立てるプログラムの評価可能性について検討する。

 

 

第3部： プログラム評価の方法

 

■ 3-1. 評価クエスチョン　【pp. 132-138】

  1. 仮説・リサーチクエスチョン・評価クエスチョンについて，類似点と相違点は何か。
  2. 評価クエスチョンを設定する際に，評価者以外に誰が（どのステークホルダーが）何の答えを求めているかを，各自が評価を検討しているプログラムを例にとって考えてみる。
  3. 各自のプログラムについて，①アカウンタビリティ，②プログラム改善，③価値判断，④評価研究の計4つの視点から評価クエスチョンを検討する。

■ 3-2. プロセス評価　【pp. 139-163】

  1. 「結果良ければすべて良し」では何故、駄目なのか。
  2. 「プログラムに参加する人＝それを望んでいる人」（p.141）とは限らないプログラムにはどのようなものがあるか。「プログラムを利用した人＝ニーズがある人」，「プログラムを利用しない人＝ニーズがない人」とは限らないのは何故か。プログラムの具体例を挙げて考える。
  3. 「ブラックボックス評価」とはどのような評価か。具体例を交えて考える。

■ 3-4. アウトカム評価　【pp. 174-182】

  1. プロセス評価との違いは何か。プロセス評価とアウトカム評価を比較してみる（p. 175の表1）。
  2. アウトカムの定義を確認し（p. 175），それがプログラムの参加者（サービスの利用者）のレベルでの変化・変容についてであることを確認する。

■ 3-5. アウトカム評価のアプローチ　【pp. 183-189】

  1. 社会科学アプローチが拠って立つ考え方の基本について確認する。
  2. 「開いたシステム」（open system）とは何か（p. 184）。各自のプログラムを例にとって，どのようなオープンシステムが考えられるかを検討する。
  3. 理論主導アプローチが提案されたのはどのような背景があったからか（p. 186）。

 

 

第4部： 実験デザインに基づく評価

 

■ 4-1. 因果関係を成立させるための「先行性」「関連性」「唯一性」について，自動販売機の例が挙げられているが，その他の例として考えられるものは何か（p. 196）。

■ 4-2. 主要な外生要因（計8要因）の確認（p. 205）。

■ 4-3.主要な実験・準実験評価デザイン（計12デザイン）の確認（p. 213）。

■ 4-4. 地域コミュニティ・企業組織・学校など実施されるプログラムを1つ挙げる。例えば，地域コミュニティであれば高齢者の健康増進プログラム，企業組織であればダイバーシティ推進のための研修プログラム，学校であればいじめの予防プログラムなどが考えられる（その他でももちろん可）。そして実験・準実験デザインを用いて，そのプログラムの評価を行うとする。各デザインを用いるにあたって，以下の点について検討する：

  1. 各デザインによって明らかにしたいプログラムの「アウトカム」は何か。どのような評価クエスチョン（あるいは仮説）が想定できるか。
  2. プログラムの特徴（実施期間や簡単な内容），サンプルの特徴（誰が対象者か，人数は），データ収集のタイミング（いつデータを収集するか），アウトカム指標について検討する。
  3. 当該デザインにおける外生要因の種類（例：履歴，成熟，テスティング etc.），外生要因の具体例は何か，その外生要因はどのような影響を及ぼすか。

※参考：演習ワークシート（実験デザインの検討）