プログラムの効果が認められない原因
教育プログラムや社会サービスの評価において実験・準実験デザイン(例:RCT)を活用した効果検証が行われ,もし仮に,「効果なし(‟No Effects”)」という結果が出た際には,少なくとも下記の5つの原因(可能性)を検討することが有用である(Chaney, 2016, p. 47):
- 参加者が受けるプログラムの「投与量(‟dosage”)」にばらつきがあるが(例:時間数,単位数),評価ではそれらを考慮せず プログラムを「ひとまとめ」として扱っていないか。
- プログラムの「効き目」に影響する参加者の内的要因(例:モチベーション,粘り強さ,自己効力感)と外的要因(例:交通アクセス実施時間帯等の問題,学校や仕事等によって参加が制限される)が配慮されているか。
- 参加者のプログラムへの反応,例えば2で挙げた内的要因の他,参加者の将来のゴール設定,興味・関心,プログラム(の運営者等)との関係性(例:知り合いか等),所属感などが考慮されているか。
- 参加者がプログラムを受けることによって,実際にどのような利益や学びを得られるか。例えば,参加者の能力(レベル),スキル,事前知識は適切か。他からのサポート(例:友人・家族・コミュニティ)は得られるか。
- 評価のベースラインが整っているか,つまり,プログラムの開始時の参加者のレベルが同様であるか。
個人的には,‟無作為抽出(random sampling)”と‟無作為化(randomization)”でカバー出来る部分が多いのでは,と思うところはあるが,これらの手続きが可能でないプログラム評価の方が圧倒的に多い。そのため,プログラム評価の結果「効果なし」となった場合には,当然,そもそものプログラムの背景(例:理論的背景)を再考すると同時に,なぜ「効果なし」となったかを検討する枠組みとして,特に上記の1., 3., 5.の視点に注目する必要があると考える。また,実際のところ,これらはプログラムの導入(implementation)の評価に関する問題であり,より詳細には,実施上・理論上・評価上の問題でもある(例:安田,2011,p. 42; 安田・渡辺,2008,p. 87-90)。
Chaney, B. (2016). Reconsidering findings of “No Effects” in Randomized Control Trials: Modeling differences in treatment impacts. American Journal of Evaluation, 37, 45-62.