第3部: プログラム評価の方法(ディスカッション課題)
updated: 2023.11.25
■ 3-1. 評価クエスチョン 【pp. 132-138】
- 仮説・リサーチクエスチョン・評価クエスチョンについて,類似点と相違点は何か。
- 評価クエスチョンを設定する際に,評価者以外に誰が(どのステークホルダーが)何の答えを求めているかを,各自が評価を検討しているプログラムを例にとって考えてみる。
- 各自のプログラムについて,①アカウンタビリティ,②プログラム改善,③価値判断,④評価研究の計4つの視点から評価クエスチョンを検討する。
■ 3-2. プロセス評価 【pp. 139-163】
- 「結果良ければすべて良し」では何故、駄目なのか。
- 「プログラムに参加する人=それを望んでいる人」(p.141)とは限らないプログラムにはどのようなものがあるか。「プログラムを利用した人=ニーズがある人」,「プログラムを利用しない人=ニーズがない人」とは限らないのは何故か。プログラムの具体例を挙げて考える。
- 各自が評価を検討しているプログラムについて,「利用状況に関する情報」(①活動の種類と内容,②提供期間・頻度,③利用者の数と特徴・属性等,④サービス提供者の特徴)(p.142) および「サービス提供法に関する情報」(①実施の段取り,②サービスの程度・強度あるいは投与量,③実施上の問題点や否定的効果,④計画と実施のマッチング,⑤安定性,⑥利用ニーズへの対応)(p. 143)をプロセス評価としてどのように把握するかを,データの種類や収集方法を考慮して検討する。
- 「ブラックボックス評価」とはどのような評価か。具体例を交えて考える。
- 各自のプログラムについて,①導入ステージの評価(p.151),②発展ステージの評価(p.157),③効果顕在ステージの評価(p.161)のどの評価(プロセス評価)が妥当か。もし,選んだもの以外のステージの評価を行うとすると,それはいつ,どのような状況で行われるべきか。
■ 3-3. パフォーマンス測定 【pp. 164-173】
- パフォーマンス測定とアウトカム評価(3-4.)との類似点と相違点は何か。
- 各自のプログラムについて,「効率性」(efficiency)を検討するためには,どのようなインプットおよびアウトプットの定量化が可能か(p. 166)。[参考:効率性=アウトプット/インプット]
- 各自のプログラムの「サービスの質」を評価するにあたり,6つの視点(p. 169の図4)およびサービスの満足度(p. 171)はどのように定量化できるか。
- 各自のプログラムについて,「有効性」(effectiveness)を検討するためには,どのようなインプットおよびアウトカムの定量化が可能か(p. 172)。[参考:有効性=アウトカム/インプット]
■ 3-4. アウトカム評価 【pp. 174-182】
- プロセス評価との違いは何か。プロセス評価とアウトカム評価を比較してみる(p. 175の表1)。
- アウトカムの定義を確認し(p. 175),それがプログラムの参加者(サービスの利用者)のレベルでの変化・変容についてであることを確認する。
- アウトカムを特定する際に参考にすべき情報にはどのようなものがあるか(p. 177)。
- 各自のプログラムについて,アウトカムを検討する。
■ 3-5. アウトカム評価のアプローチ 【pp. 183-189】
- 社会科学アプローチが拠って立つ考え方の基本について確認する。
- 「開いたシステム」(open system)とは何か(p. 184)。各自のプログラムを例にとって,どのようなオープンシステムが考えられるかを検討する。
- 理論主導アプローチが提案されたのはどのような背景があったからか(p. 186)。
- 仮に各自のプログラムの評価に理論主導アプローチを援用したとする。その際,①介入の質・量,②決定要因と外生要因,③介入構造,④プロセス・アウトカムの継続性はどのように具体化できるか。
※ ディスカッション課題(プログラム評価論 LINK)