プログラムの効果の評価（アウトカム評価）には，実験・準実験デザインをはじめとして，多数の方法やアプローチがある。これらのアプローチは，プログラムの参加者やサービスの利用者から「直接的」にデータを収集・分析し，その効果を推し量るものである。この直接的なアウトカム評価では，1つ1つのプログラムに対して，事前・事後テスト，比較・統制群の設定などを行い，評価が行われることが一般的である。

一方，地域コミュニティでの実施される数多くのプログラムの効果を一度に（c.f., 横断的に），しかし体系的に把握したい場合，上記のような直接的なアプローチをとることは困難である。プログラムの参加者・利用者から直接的にデータを収集することが難しいためである。そこで多く活用されるのが，参加者・利用者ではなく，プログラムの実施者・運営者によって「知覚された効果（perceived effect）」を把握することにより，「間接的に」プログラムの効果を測定するアプローチである。いわば直接的なアウトカム評価の代替案としての「間接的」な評価である。

私自身も高齢者の社会参加および健康行動の促進を目的としたプログラムの評価にこのアプローチを用いたことがある。ここでは，プログラムの実施者・運営者（リーダー）に対して，下記の項目に対して，「そう思う（4）」から「そう思わない（1）」までの4件法で回答を求め，その合計をアウトカム指標として集計し「知覚された効果（perceived effect）」とした（安田，2015，p. 108）：

1. 会への参加者に目に見える効果（例：健康増進）が出ている。
2. 参加者同士の交流が増えている。
3. 参加者のなかから，リーダーとなる人が出ている。
4. 会の活動は，地域住民の健康維持に一役買っている。
5. 会の活動は，地域で多くのことを成し遂げている。

このアプローチによる評価は，ワンショットの調査データの収集により，多数のプログラムから体系的に情報が収集できる利点がある。一方で，参加者・利用者からの直接データでなく，実施者・運営者から収集した知覚された効果についての間接データであるため，それが“純粋な効果”である保証はどこにもない。プログラムの実施者・運営者には，自身のプログラムに対して「介入の結果をよく見せたい」「成果が出ていると思いたい（信じたい）」といった願望が少なからずあるため，これがバイアスとなりかねない。評価を増大する，つまり過大評価するというバイアスである。

それでは，「知覚された効果」による評価は無意味なのか，というとそうも言い切れない部分もある。社会心理学の「自己奉仕バイアス（self-serving bias）」という考え方に基づき，評価者の評価が場面毎にどの程度，増大するか（inflate）という点を調査した研究によると（Greenberg, 1991），評価される側（被評価者）のパフォーマンスが過大評価されるケースは，評価する側（評価者）の貢献によってそのパワーマンスが向上した（とされる）場合であった。一方，評価者の貢献が被評価者のパフォーマンスに向上に貢献していない場合には，過大評価は少ない結果となっていた。

したがって，もし仮に，プログラムの実施者・運営者によって「知覚された効果」を間接的なアウトカムとして評価に用いなければならない場合には，評定を行った実施者・運営者が，参加者・利用者のパフォーマンス向上，つまりアウトカムの向上（例：学びの効果，自尊心やモチベーションの向上，抑うつ等の軽減）に「どの程度，貢献していたか」ということを“引き算”（i.e., コントロール）すれば，理屈上は，上記の自己奉仕バイアス（self-serving bias）による過大評価の影響は抑えられると考えられる。アンケート調査において，「社会的望ましさ（social desirability）」による回答の影響が統計的にコントロールされることがあるが，それと同様なアプローチによるコントロールが可能であろうか。

また効果・効力（efficacy）と有効性（effectiveness）とは厳密には違いがあるため，この点を考慮すると，「知覚された効果（perceived effect）」よりも「知覚された有効性（perceived effectiveness）」の方がより正確な捉え方であろうか。

全国の自治体で実施される父親教室などの「ペアレンティング・プログラムの研究」に，共同研究者（プログラム評価の技術的観点）として継続的に携わっているが，これらのプログラムに関しても，間接的なアウトカム評価の必要性があるため，上記の点も含めて，方法論的な課題に取り組んでいく。

Greenberg, J. (1991). Motivation to inflate performance ratings: Perceptional bias or response bias? Motivation and Emotion, 15, 81-97.