プログラム評価論（心理学特殊講義Ⅳ）[2017 秋学期] 　　　　　水曜・3限（13：30～15：00） 担当教員：安田節之 ■ 授業の概要 心理学諸領域には，対人援助やコミュニティ援助といった臨床心理地域...

プログラムの流れをインプット→アクティビティ→アウトプット→アウトカム→インパクトの順に整理整頓して捉えるのがロジックモデル（LM）である。LMの各要因を高い信頼性のもと測定するのには一体，何項目必要なのか。特に目安は存...

トリビアではあるが，ダニエル・カーネマンのアメリカ心理学会（2017）のキーノートによると，行動経済学（behavioral economics）は，いわゆる応用社会心理学（applied social psycholo...

今年の5月に実施した事例検討会につづき，2回目の検討会を開催する準備を進めています。今回は「心理支援におけるグループ・プログラムの実践と評価」について，横山孝行先生（東京工芸大学）にご発表いただきます。10月頃を予定して...

3年のゼミ生がお世話になっているプロジェクトにおいて，評価データ（ふりかえりデータ）の収集を行うことになった。ステークホルダーからの情報をもとに質問項目を作成し，データ収集を行う。M. パットンが提案する実用重視型評価（...

『ワードマップ　プログラム評価（対人・コミュニティ援助の質を高めるために）』を2011年に出版し，プログラム評価論および関連授業において教科書として活用している。ただ加筆したい内容などが多くあり，出来れば増補版を執筆でき...

プログラム評価の概要に関するパワーポイント。 7/28/2017のトピック： ①評価クエスチョン（ワーク） ②評価可能性アセスメント ③実験・準実験デザイン（ワーク×2） ※教科書(p.192-228)，補足資料（「実験...

Preskill, H., & Russ-Eft, D. (2016, p.10-11). Building Evaluation Capacity: Activities for teaching and tr...

プログラム評価論の夏季集中講義（2017年度，東京大学大学院教育学研究科）の日程。 ■7月25日（火）2-5限 ■7月26日（水）2-5限 ■7月28日（金）2-6限 ※関連リンク   ■ プログラム評価論 [...

日本学生相談学会第36回大会においてワークショップを担当することになった。日時： 2018年5月19日（土） 13:00～18:00 （於：関東学院大学）テーマ：　プログラム評価入門

質的心理学会の15周年記念事業として出版される辞典の一項目（「質的評価」）を執筆することになった（学会員ではないのにお誘い頂き光栄に思います）。質的評価と聞けば真っ先に，M. パットンの評価アプローチが思い浮かぶ。質的ア...

遡ること10年以上前の大学院のcomprehensive examのお題の1つとして提出した論文（というかリアクションペーパー）が質的アプローチと量的アプローチの認識論・方法論からの比較についてであったが，折に触れて見返...

Evidence-Based ApproachとBest Practice Approachの関係性についてまとめた図（LINK）。「フィールド実験の可能性」を「アウトカム評価の可能性」，「ベンチマーキングの可能性」を「...

Borman, G. D., Slavin, R. E., Cheung, A., Chamberlain, A. M., Madden, N. A., & Chambers, B. (2005). Succes...

実験デザインに頼らない評価アプローチの可能性が検討されるなか，因果関係の特定においてはやはりRCTが優れている点が指摘されている。特に，教育領域でのRCTの応用が他の領域に比べて少ない理由が詳しく書かれている。 Cook...

下記の3つのモデルは，ファクトやエビデンスを参考に，政策やプログラムについてディベート方式で評価を行うアプローチである。当該政策・プログラムに賛成する側と反対する側とが、互いにデータ(ファクト・エビデンス)を持ちより，そ...

犠牲者非難(Blaming the Victim)となってしまっている政策・プログラムは何か。 コミュニティ心理学×プログラム評価のミッションは、programmatic changeか、community change...

質的アプローチと量的アプローチに関する発表資料（OHP)。

心理学研究法についての調べごとをしていたら、院生時代にNHST（null hypothesis significant testing）への批判について発表した際の資料が出てきたので、備忘録的に書いておく。(発表タイトル...

プログラム評価になぜ心理学で用いられてきた実験デザインが活用され始めたのかについて，その歴史的経緯を調べている。評価研究の古典であるSuchman（1967）のなかで，Campbell & Stanley（196...

以前にも検討したが，ランダム化比較試験（RCT）を反復的にウェイティングリストコントロールデザインの枠組みで行うRandominzed Weigthing List Control Design（RWLCD）に基づいたア...

■日本コミュニティ心理学会　第20回大会（於：上智大学）　研究委員会 企画シンポジウム　7月2日（日）13:10-14:40 コミュニティ心理学におけるプログラム評価：理論・実践・研究の方向性 司会・話題提供： 安田節之...

コミュニティでの実践や介入において，RCT（ランダム化比較試験）の適用は現実的でないケースが多い。そこで”プランB”として，ベストプラクティス・アプローチの可能性を検討してきた。 一方で，RCTは...

コミュニティベースの予防プログラム（Communities That Care）の導入研究に関してのベンチマークが参考になる。コミュニティ連合（community coalition）が「エビデンス」と「実践」の架け橋と...

より現実的なプログラム開発・実施のアプローチとして，エビデンスに基づく実践(EBP)の他に，ベストプラクティス(BP)の可能性を以前に検討した。どちらのアプローチをとるにしても，評価研究の知識や関連スキル(例：調査・測定...

プログラムの事例検討会では単なる事例報告ではなく，下記のような視点を用いてディスカッションを行う予定： ■すでに行っている評価だけでなく，今後，どのように評価しようと思っているか。 ■評価実施に関して，困っていること，行...

updated: 2023.11.25 ■ 4-1. 因果関係を成立させるための「先行性」「関連性」「唯一性」について，自動販売機の例が挙げられているが，その他の例として考えられるものは何か（p. 196）。 ■ 4-2...

プログラム評価を行う際には，評価結果のユーザーを明らかにすることが有用である。特に，評価者が組織等から評価を依頼された場合には，ステークホルダーが誰なのかについて，あらかじめ分析をすることが鍵となる。ステークホルダー分析...

2017年度開始に向けて，学部ゼミの研究テーマが決定した。今後、先行研究を深め、データ収集計画を立て、分析を行い、論文を仕上げていく。また，グループでのディスカッションや共同プロジェクトなども同時に進めていく。

効果量（effect size）の平易な説明法について、大学院の時に効果量を大切にする先生から聞いた話のメモ： ■ 効果量（例：r）= 0.1 は，15歳と16歳の女子の平均身長の差程度（=small)。 ■ 効果量（例...

コミュニティ心理学諸領域はもとより，さまざまな組織・コミュニティへの介入研究が盛んになるなかで，プログラム評価の意義や役割を検討・再検討する必要が出てきています。プログラム評価は従来の心理学研究法や社会調査法との親和性が...

2017年度からプログラム評価論に関するレクチャーを本務校の大学院（法政大学キャリアデザイン研究科）の「コミュニティとキャリア」（4単位30回授業）の後半部分で担当することになった（前半部分は，かねてから同科目を担当され...

コミュニティ心理学諸領域はもとより，さまざまな組織・コミュニティへの介入研究が盛んになるなかで，プログラム評価の意義や役割を検討・再検討する必要が出てきている。プログラム評価は従来の心理学研究法や社会調査法との親和性が高...

自身の業績（リサーチマップ，グーグルスカラー）を更新した。今後は海外ジャーナルへの投稿にコミットすることが必要である。

実践や評価のモデルとなるプログラムについて以前に検討したが，米国におけるコミュニティ介入やヒューマンサービス領域のプログラムをまとめたCommunity Tool Boxのページが参考になる。  

社会科学におけるエビデンスベースト（evidence-based）アプローチでは，ランダム化比較トライアル（RCT）などを中心としたフィールド実験の重要性が継続的に指摘され，プログラムの効果検証のスタンダードとなっている...

updated: 2023.11.25 ■ 3-1. 評価クエスチョン　【pp. 132-138】 仮説・リサーチクエスチョン・評価クエスチョンについて，類似点と相違点は何か。 評価クエスチョンを設定する際に，評価者以外...

評価のキャパシティビルディング（ECB：Evaluation Capacity Building）について研究を進めている。昨今では，プログラム評価の教育そのものを評価のキャパシティビルディングの観点から捉える試みもなさ...

今後のスケジュールおよびリーディング・グループワークの内容。 12/7 & 12/14 評価クエスチョンと評価可能性アセスメント（pp. 132-138, pp. 121-129） 演習：評価クエスチョンの設定（...

■ プログラムについて [1-1] プログラム pp. 2-6 [1-2] プログラムの実施背景 pp. 48-55 [2-5] プログラム・プランニング pp. 83-95 [2-7] ロジックモデル pp. 105-...

Lipsey & Cordray（2000）は，プログラム評価の目的を下記のとおりとしている： We take the view that the overarching goal of the program ...

2016年度　プログラム評価論（東京大学教育学研究科） 評価の目的と評価者の役割について（LINK） プログラムの何をモデリングするか（LINK） プログラムの効果が認められない原因（LINK） Developmenta...

下記のデザインの応用（Ⅳ．「実験・準実験デザインの応用」）について検討する： ■ 1群事後テストデザイン（p. 215）※ ■ 複数の事後テスト指標による1群事後テストデザイン（p. 217） ■ 回顧的事前テストデザイ...

■ 社会科学アプローチ（例：social science research and evaluation） ■ 理論主導アプローチ（例：theory-driven evaluation, program theory-d...

評価教育を行う上で，演習・実習（プラクティカム）の重要性は，多くの評価研究者が指摘するところである（例：Trevisan, 2004）。これは，プログラム評価の関連知識や方法論 の習得はあくまで必要条件であり，実際の評価...

updated: 2023.11.25 ■ 2-1. プログラムの実施背景　【pp. 48-55】 プログラムの実施背景は「問題解決」「予防と促進」「教育や訓練」に大別される。それぞれの具体例を挙げる（p. 48-49）...

updated: 2023.11.25 ■ 1-1. プログラム 【pp. 2-6】 プログラム評価が対象とするプログラムとは「何らかの問題解決や目標達成を目的に人が中心となって行う実践的介入」のことを指すが，身近にある...

複数のチョコレートのうち（4種類)，どのチョコレートが最も購入する価値があるか，どのチョコレートを購入すべきかについて下記の手順で考える（ゼミ・グループワーク）： 評価規準を設定する（どのような観点・切り口で評価すべきか...

法政大学キャリアデザイン学部の安田ゼミでは，「活動をカタチに，効果をデータに」をモットーとしたプログラム評価の学びを行っています。各学生が興味・関心を持つ社会的な問題（社会課題）の理解と分析（2年後期），問題解決のために...

予防科学におけるリスク・プロテクティブ要因モデル（Risk-Protective Factor Model）[1]の普及は，その後のポジティブな青年発達（Positive Youth Development）モデルの発展...

図書 ① 岡 檀 （2013） 『生き心地の良い町』  講談社 ② クランボルツ 他（2005）『その幸運は偶然ではないんです！』 ダイヤモンド社 ③ バリー・シュワルツ（2017）『なぜ働くのか（TEDブックス）』 朝...

心理的エンパワメントについて，特に心理的エンパワメントとは何か（what is）を超えて，何のためのエンパワメントか（what is for)について考えるうえでは，レジリエンス研究やキャリア研究のなかで議論されているア...

ライフキャリア支援の理論やモデルを考えるうえで重要となるのが，キャリア支援（キャリア介入：Career Intervention）に関する考え方の変遷であろう。20世紀始めから現在に至るまでに，下記のとおりにキャリア支援...

プログラムの効果の評価（アウトカム評価）には，実験・準実験デザインをはじめとして，多数の方法やアプローチがある。これらのアプローチは，プログラムの参加者やサービスの利用者から「直接的」にデータを収集・分析し，その効果を推...

サクセスケースメソッド（SCM）¹ ²を用いた危機介入の効果に関するデータ収集の準備を継続している（共同研究）。 危機介入の対象は，某県の小学校・中学校の教員で，危機介入の成功例（サクセスケース：N=5)，不成功例（ノン...

プログラム評価の学びについては継続的に検討しているが，①評価を行うにあたっての社会的文脈（コンテクスト）およびステークホルダーの分析，②費用対効果の分析，③評価の予算案の策定（i.e, budgeting）の3つのトピッ...

『The System of Care（またはSystems of Care）』は，メンタルヘルス・ニーズのある子どもに向けて，「分類別（categorical）」の心理サービスではなく，「システム（system）」とし...

Efficacyとeffectivenessは共に「有効性」を表す用語であるため，同義的に用いられることが多い。しかし，予防科学（prevention science）の研究領域などでは両者は明確に区別されている。この違...

※ ２刷にて修正済 12. （233頁） 誤：4-6-3 参加機関や中途不参加（ドロップアウト）の状況 正：4-6-3 参加期間や中途不参加（ドロップアウト）の状況 11. （15頁） 誤： 探求の焦点 正： 探究の焦点...

プログラム評価領域では「インパクト」という用語が2通りに用いられている。ロジックモデルの要因において，およびインパクト理論（impact theory）においてである。 前者のロジックモデルの要因としてのインパクトである...

アウトカム評価を行う際，通常，比較・統制群などを設置し当該プログラムが他のプログラムに比してどの位，成果・効果（アウトカム）をあげたかを測定・評価するアプローチをとるのが一般的である。 しかし，そもそもプログラムに統制群...

スタッフルビームによる22の評価モデル（アプローチ）の分類によると，評価研究者のステイク（R. Stake）によるクライエント中心またはレスポンシブ（responsive: 応答的）アプローチによる評価（アプローチ19）...

「評価」の目的は，①説明責任（アカウンタビリティ）を果たすため，②プログラムの改善・質向上のため，③プログラムの価値を判断するため（後の意思決定を含むこともある），④評価を通したプログラムおよび評価方法論の研究のための計...

RCTに代表される実験デザインをプログラムの評価に適用するにあたっては，幾つかのハードル（倫理面・運用面）が存在するが，もし適用が可能であったとしても，介入群や非介入群（比較・統制群）のプログラムについて，様々な点に注意...

プログラムをいかに無理なく，効率的に可視化できるかを健康づくりプログラムを事例として検討した論文。ステークホルダー（指導者・運営者）に対して，①当該プログラムを実施するにあたり何が重要であるか（重要性：significa...

量的な評価デザイン（例：実験・準実験デザイン）によってプログラムに効果なしと判断された場合のことについて以前検討したが，より理解を深めるためのリーディングとしては下記のものがある（3編）： Chen, H., &...

Kalaft, J. & Illback, R. (1998). A qualitative evaluation of school-based family resource and youth servic...

Munter, C., Cobb, P., & Shekell, C. (2016). The role of program theory in evaluation research: A considera...

教育プログラムや社会サービスの評価において実験・準実験デザイン（例：RCT）を活用した効果検証が行われ，もし仮に，「効果なし（‟No Effects”）」という結果が出た際には，少なくとも下記の5つの原因（可能性）を検討...

The Success Case Method（SCM）は，方法論としては未だ発展の余地があるが，少なくともその考え方やアプローチは従来の研修プログラムの効果測定・評価では補いきれていない部分を枠組みに組み入れている（B...

従来の評価研究は，プログラムのプロセスの評価を通した改善を目的とした『形成的評価（formative evaluation）』とプログラムのアウトカムの評価を通して効果検証を目的とした『総括的評価（summative e...

学校現場（小学校・中学校）の教職員に対する危機介入（crisis intervention）の効果の検討を行うため，SCM（サクセスケースメソッド）の活用を計画。サクセスケース（介入が奏功したケース）へのインタビュープロ...

SCM（サクセスケースメソッド）において，量的サーベイ（アンケート）を用いたインタビュー対象者の選定はステップ3にあたる。実際に誰をインタビューするかを決定するにあたっては，①アンケートで高得点だった人のみ（数名），②高...

  The research world would be much better off if it did not do tests of statistical significance — ...

1. 表紙 2. 目次 3. エグゼクティブレポート 4. プログラムの概要 ＿4-1. プログラムの実施主体や歴史的背景 ＿4-2.プログラムが対処する問題やプログラムのニーズ ＿4-3．プログラム活動の概要 ＿＿4-...

Success Case Method: Coryn, C., Schroter, D., Hanssen, C. (2009) Adding a time-series design element to the su...

  Ⅰ. 擬似評価 1. PR活動のための評価 2. 政治的にコントロールされた評価 Ⅱ．準評価 3. 評価疑問点等による目的が基本となった評価 4. 評価結果をもとに資金提供が行われるアカウンタビリティ目的の...

サクセスケースメソッド（SCM）では，プログラムの有効性（および効率性）が実施後のインタビューを通して検討される。ここでは特に，誰にどのような効果がもたらされたか（もたらされなかったか）を明らかにすることに焦点が当てられ...

ロジックモデルには合理性と矛盾点がある(合理性：あらゆるプログラムを可視化できる，矛盾点：各要因の単位ユニットが異なることがある)一方で，「アウトカム／インプット」は『有効性(effectiveness)』とされ，「アウ...

ロジックモデルは，プログラムを「インプット」→「アクティビティ」→「アウトプット」→「アウトカム」→「インパクト」という流れに沿って可視化するためのツールである。よって，どんなプログラムでも合理的に構造化することが出来る...

A Disputatious Community of Truth Seekers: Knowers organized around a focal topic and dedicated to open, mutua...

インパクトモデル（類：ロジックモデル）を作成するところまでは，従来のプログラム可視化プロセスと似ている。SCMの特徴は，プログラムを実施した結果「どの参加者（利用者）に対してプログラムが効果的か」，また逆に「どの参加者（...

料理人がスープを味見する行為が“形成的”(に評価すること)にあたり，ゲストがそのスープを味わう行為が“総括的”（に評価すること）”にあたる　– R. ステイク (Robert Stake) (When the...

Patton, M. Q. (2002). Teaching and training with Metaphors. American Journal of Evaluation, 23, 93-98. Datta, ...

Brinkerhoff, R. O. (2002). The success case method: Find out quickly what’s working and what’s not...

本務校の法政大学キャリアデザイン学部では主に，ゼミのなかでプログラム評価の学びを取り入れているが，他大学での学部・大学院の非常勤（2016年度秋学期）では下記の通りに授業を進める予定： プログラム評価論 [心理学特殊講義...

read again Ryan, W. (1976). Blaming the Victim. Random House, Inc. (Vintage Books Edition) Alinsky, S. D. (197...

Internal Evaluation Love, A. (1991). Internal evaluation: Building organizations from within.  Sage pub. Volko...

演習型のワークショップ等でプログラムを可視化する際に使用している演習ワークシートです。ご自由にご活用ください（Ｂ４あるいはＡ３に拡大して印刷して使用）。 LINK