プログラムの何(の概念・変数)を「モデリング」するか

RCTに代表される実験デザインをプログラムの評価に適用するにあたっては,幾つかのハードル(倫理面・運用面)が存在するが,もし適用が可能であったとしても,介入群や非介入群(比較・統制群)のプログラムについて,様々な点に注意を払う必要が出てくる(Lipsey & Cordray, 2000)。
例えば,①プログラムの導入がしっかりとなされているか(導入の質),②非介入群が増加していないか,③介入・非介入群における参加率は維持されているか,④参加者は,不完全な,または一貫性のないプログラムを受けていないか,⑤事後評価(含:フォローアップ)における中途離脱(attrition/dropout)があったり,不完全な測定・評価がなされてないか,⑥参加者の個人要因(例:問題の程度,モチベーション,知識・スキル)は影響していないか,が挙げられ,これらは事前に統制ができず,かつプログラムの効果の程度に大きく影響してくるため,「モデリング」されることが望ましい(p. 346)。つまり,実験デザイン上のコントロールではなく,統計上のコントロールである。

さらに介入プログラム内(within-program),つまりプログラムの「ブラックボックス化」に関する問題についても,①介入実施の遅れ,不完全性(あるいは導入の失敗)はないか,②参加者がそのプログラムをどの程度,受け入れているか,積極的に関与しているか(engagement),③当該プログラム以外のサービスを受けているか否か(i.e., オープンシステムの評価の問題),④適性処遇交互作用(ATI:Apptitude by Treatment Interaction)の可能性の有無,⑤統制・比較群にいる参加者が実は,介入群の参加者よりも優れた何らかのプログラムやサービスを受けている可能性,⑥導入評価の質,アウトカムとして⑦何を,⑧どうやって測定・評価するのか,⑨評価技術の問題などが存在する(Lipsey & Cordray, 2000, pp. 349-356)。これらも統計上のコントロールの対象となる。

つまり,以上に挙げられた点を概念・変数として定義し,測定(統計)モデルに組み込むことがより正確なプログラムのアウトカムの評価につながる。