備忘録： D. T. キャンベル（Campbell）は評価研究における社会実験（social experiments）の重要性を指摘し続けたが，彼の評価研究におけるバイアス問題の解決に関する多大な貢献を称賛しつつも，その...

■ 課題文献（大石，2009，p.25-45） 「第4章：文化と幸せ」 ■ ディスカッション課題 「幸せ」について（「幸せ」と聞いて），何を思い浮かべるか。自由に連想してみる。【p. 26】 幸福感（幸福の感情観）に関し...

■ 課題文献（コミュニティ心理学の教科書，ダルトン他，2007） 「第12章 市民参加とエンパワーメント（pp. 434-447）」 ■ ディスカッション課題 市民参加（citizen participation）の定義...

■ 課題文献（大石，2009, p. 1-23） 「第1章～第3章：幸せと理想の人生 / 幸せとは何か？（西洋・東洋）」 ■ ディスカッション課題 ウェルビーイング（well-being）について，まずは自分にとってどの...

■ 課題文献（コミュニティ心理学の教科書，ダルトン他，2007） 「第1章のつづき「コミュニティ心理学とは（pp. 17-31）」   ■ ディスカッション課題 コミュニティ心理学は「価値観から独立した科学（v...

■ 課題文献（コミュニティ心理学の教科書，ダルトン他，2007） 「第1章 コミュニティ心理学とは（pp. 2-17）」 ■ ディスカッション課題 「9つの点の問題（nine dots problem）」を解くにあたって...

プログラム評価に関する実証論文のクリティーク（任意課題） ■グループで作成する評価計画書を提出の他，個人レポートとして作成 Evaluation and Program PlanningまたはAmerican journ...

①問題分析 ②ゴール設定 ③ステークホルダー分析 ④ロジックモデルの作成 ⑤評価クエスチョンの設定 ⑥アウトカムの検討 ⑦因果関係・影響要因の検討 ⑧実験デザインの検討 →参考文献

■ プログラム評価論（集中講義）の授業URLをUTASの授業概要（詳細情報）のオンライン授業URLの箇所に掲載しました。不具合等があればinfo@programevaluationlab.jpまでご連絡ください。授業は9...

今年度の集中講義はオンラインで実施することになりました。下記が授業実施に関する情報です（今後またアップデートしていきます）： ■授業実施日は，予定どおり9月1日（火：2-5限），9月2日（水：2-5限），9月4日（金：2...

メモ： Validation of a test or test use is evaluation (Guion, 1980; Messick, 1980), so I propose here to extend t...

従来の学校でのテスト（例：期末テスト）は，実験デザインの枠組では1群事後テストデザイン（記号： ”×〇”，×=介入，〇=測定）と位置づけることが可能である。しかし，この1群事後テストデザインは，有用性が極めて低いとされる...

心理的エンパワメント（psychological empowerment）概念と他の自己概念（例：自己効力感/self-efficacy）との主な違いは，前者は，個々人が批判・批評的意識（“critical awaren...

2020年度は本務校（法政大学キャリアデザイン学部）ではサバティカルであるが，非常勤の集中講義「プログラム評価論」（東京大学大学院教育学研究科）の日程が決定したのでメモしておく： ■9月1日（火）：2-5限 ■9月2日（...

■若者の INSTAGRAM 利用からみるまちづくり・地域活性化の可能性―地元川越に注目して（菅家） ■地域の特色が大学生の地元への愛着に及ぼす影響に関する研究（野澤） ■大学生のキャリア・アンカー形成に関する研究（垂水...

2017年-2018年の臨床心理学研究方法の動向 １．量的研究法による分析（28件） ２．事例研究（18件） ３．面接データの質的分析（11件） ４．プログラムの効果検証（3件） ５．実験法（3件） ６．量的・質的研究に...

以下について、グループでレポートを作成してください： プログラムの実施背景（※社会的な背景に関する記述：1000字） プログラムが対処する問題やニーズ（※どのような社会的問題があるか：500字） 問題分析（※図の作成） ...

到達目標 ・プログラム評価の考え方と基本的な手法を習得する。 ・個人研究に基づくゼミ論を完成させる（3年）。 ・ゼミでの個人研究テーマを模索する（2年）。 授業計画 第1回（9/25）イントロダクション，プログラム評価と...

第1回 イントロダクション 第2回 プログラム評価の目的と評価者 第3回 プログラムニーズの種類とアセスメントの方法 第4回 問題・課題の分析（演習①：問題分析） 第5回 ステークホルダーの確認（演習②：ステークホルダー...

第1部：プログラム評価とは何か   ■ 1-1. プログラム 【pp. 2-6】 プログラム評価が対象とするプログラムとは「何らかの問題解決や目標達成を目的に人が中心となって行う実践的介入」のことを指すが，身近...

1. イントロダクション，プログラム評価とは（HW:課題をみつける） 2. ライフキャリア課題の検討と問題分析①（問題を焦点化する） 3. ライフキャリア課題の検討と問題分析②（因果関係を分析する） 4. 2年ゼミ（個人...

コミュニティ心理学実践（Community Psychology Practice）には下記のとおりの18のコンピテンシーがあるとされている（Scott & Wolfe, 2015, pp. 44-45）: ■ ...

■ 東京ディズニーランドのキャストのキャリアデザインに関する研究（大島） ■ 野毛青少年交流センターの社会的意義と課題の可視化：プログラム評価を活用して（岡田） ■ 行き過ぎたファン行動がキャリア形成にもたらす影響と人生...

■ よこはまシニアボランティアポイント制度の評価研究（飯村） ■ NPO活動の評価キャパシティを高める要因の検討（斉藤） ■ コミュニティボールパーク化構想のプログラム評価：横浜DeNAベイスターズを事例として（妻木） ...

Program Evaluation: The process of systematically gathering empirical data and contextual information about an...

定義：Benchmarking is a methodology used to improve performance by finding high-performing organizations and impo...

Saul (2004, pp. 1-2）より： “A systematic and continuous measurement process; a process of continuously comp...

スタッフルビーム（Stufflebeam, 2001）によって評価モデルの類型・体系化が行われているが（参考：安田・渡辺，2008, p. 181），より具体的な評価アプローチの分類例として下記がある（Preskill ...

備忘　頻繁に引用する文献のリスト（作成中）： Alkin, M. C. (2004). Evaluation Roots: Tracing theorists’ views and influences. Sage, T...

エビデンス（科学的根拠）よりもビリーフ（信念）やポリティクス（政治的理由）が優先されてきた顕著な例として，米国のDARE(Drug Abuse Resistance Education)プログラムが取り上げられている。他...

2019年度の非常勤の集中講義「プログラム評価論」（東京大学大学院教育学研究科）の日程が決定したのでメモしておく： ■9月3日（火）：2-5限 ■9月4日（水）：2-5限 ■9月6日（金）：2-6限   概要 ...

【書籍】 『コミュニティ心理学：実践研究の方法論（ワードマップ）』日本コミュニティ心理学会研究委員会 (担当:分担執筆, 範囲:「コミュニティ心理学研究のあり方」「支援プログラムをデザインし評価するとは」「量的研究からの...

プログラム評価の領域にD. T. キャンベル（Campbell）と共同研究者の実験・準実験デザインが用いられるようになった大きなきっかけを作ったのが，E. サッチマン（Suchman）の書籍においてこの方法論が紹介された...

2019年度 学部パンフレット用メモ コミュニティと心理学。この一見，無関係に思えるキーワードから成るコミュニティ心理学は，一人ひとりが多様なコミュニティでどう生きるかを学ぶ学問です。このゼミでは，各自が興味あるコミュニ...

安田節之（2018）ベストプラクティス・アプローチに基づく評価研究（１）： エビデンスに基づく実践との比較から考える　生涯学習とキャリアデザイン，16, 165-175. PDF

研修プログラムの実施後に学習者に起こる行動の変化が「行動レベル」の評価である。研修プログラムにおけるステークホルダー，即ち人材育成などを依頼する側やプログラムの運営側が知りたいのは，研修後に本当に社員・従業員の行動に望ま...

2000 APA Japanese MAACL-R 2000 APA acculturation 2007 APA community organizing sense of community 2007 APA cla...

過去に作成したプログラムおよび実施主体（組織）に関する測定指標をメモしておく（参考：関連業績）   ■ ロジックモデルを規準とした測定指標（安田，2015）： インプット指標 ①毎回の地域での活動を支えるために...

コミュニティ心理学がどのようにプログラム評価を捉えているかについて記述があったので，メモしておく： “[C]ommunity psychologists view evaluation as a change...

大学院のときに履修したPhilosophy of Scienceのクラスでの課題図書の1つ。正直なところ，当時は論理実証主義に基づく研究のみがあるべき姿と考えていた部分もあり，この本が意図するところを本当には理解していな...

質的評価は、質的研究法に基づく評価である。評価の対象は、主に、実践・介入活動など何らかの目標を持って実施されるプログラム（事業）であり、その価値（value）や意義（significance）が、インタビュー、フォーカス...

現代社会には，ごく身近な問題からより広い社会問題まであらゆる「問題」が存在します。問題がある以上，その解決が目指されるべきでしょう。プログラム評価研究では，現代社会が抱える様々な問題の解決を目的として行われる「取り組み」...

皆さんは好むと好まざるとに関わらず，さまざまなコミュニティのなかで日々の生活を送っています。コミュニティ心理学を学ぶ目的は，一人ひとりが多様なコミュニティのなかでより良く生きるとはどういうことなのかを探究するところにあり...

世代間交流論レポート課題 以下について、グループでレポートを作成してください： プログラムの実施背景（※社会的な背景に関する記述：1000字） プログラムが対処する問題やニーズ（※どのような社会的問題があるか：500字）...

授業で使用したスライド（プログラム評価）。

ステークホルダー分析の説明については，ワードマップのp.25-26を参照（「ステークホルダーの存在」）。 またプログラム評価研究においてはステークホルダーは下記のような特徴を持つ人々とされている（Greene，2005,...

2018年度秋学期 「コミュニティとキャリア」の授業スケジュール： ■ 11/9（第15回）コミュニティとキャリアに関する実践的導入① コミュニティとキャリアに関しての実践のイントロダクション。 ■ 11/9（第16回）...

P. ロッシの立場： “Note that there are several activities often called evaluation that are not covered by this ...

Assessment of intraindividual variability in positive and negative affect using latent state-trait model analy...

昨年度から秋学期の学部ゼミは2年生・3年生合同で試行錯誤しながら行っている（4年生は個別の卒論指導）。今学期はプログラム評価の学びを積極的に取り入れられればと考えている。 プログラム評価は実際に行われているプログラム（社...

コミュニティ心理学におけるコミュニティ感覚は基本的にポジティブ・積極的な側面に焦点を当てているが，特に日本の組織においては，消極的なコミュニティ感覚が存在している。 簡潔に，積極的なコミュニティ感覚とは，ずっとそこに属し...

湯河原にて2018年度の夏合宿を行った（9月13日～14日）。あいにくの雨でBBQは出来なかったが，集中的に個人研究の発表が出来たのは有意義であった。3年生はテーマ設定および先行研究が進んでいるため，秋学期にデータ収集に...

メモ： エビデンスに基づく実践（EBP）では，おおまかには，介入と効果の間に因果関係を仮定し（i.e,. 仮説をたて），それをデータによって実証したものをエビデンスとする。そのうえで，エビデンスを参考にした実践を行うもの...

メモ： エビデンスベースト・アプローチ（EBA）の最終目標は「アウトカム」の向上で，ベストプラクティス・アプローチ（BPA）の最終目標は「質（クオリティ）」の向上。 おおざっぱには、アウトカム志向のアプローチには「リサー...

評価研究者のパットン（M. Patton）は，実験的な因果関係の証明は必要ないものの例（比喩）として，下記のようなものがあるとした： ■運動をしすぎる（原因）→ 筋肉痛になる（結果） ■お酒を飲みすぎる（原因）→ 二日酔...

ベストプラクティス・アプローチ（BPA）の研究を進めていくなかで，プログラム評価研究の基本的立場とされるエビデンスベースド・アプローチ（EBA）の内容と発展の背景を確認している。 キャンベル（D. T. Campbell...

形成的評価，総括的評価，モニタリング，アウトカム評価，インパクト評価，パフォーマンス測定の定義。 出典：Preskill, H., & Russ-Eft, D. (2016, p.10-11). Building...

実験・準実験デザインの追加資料（参考用）

先週の集中講義における効率性と有効性に関する議論の備忘録。一般に，効率性はロジックモデルにおける「アウトプット/インプット」，有効性は「アウトカム/インプット」と定義できる。ここでは両者とも，線形性を基盤とする。もしそれ...

Cook, T. D. (2002). Randomized experiments in educational policy research: A critical examination of the reaso...

■評価の目的と評価者の役割 ■プロセス評価とアウトカム評価 ■ゴール設定（ワーク①） ■ロジックモデルの作成・完成（ワーク②） ■評価アプローチの検討 ・実用重視（特に「プロセスの利用」，p. 184） ・理論主導（特に...

■支援者は利用者の「アウトカム」に対してどの程度，責任を持つべきであるか。アウトカムの有無や多寡に（支援者側に対して）競争原理を持ち込むことの功罪（作用・副作用）は何か。支援サービスやプログラムを提供する側における「クオ...

プログラム評価論（社会教育学特殊研究）[平成３０年度] シラバス 集中講義：8/28(火)・29(水) 2-5限 31(金) 2-6限 担当：安田節之（法政大学） １．　授業の目標・概要 教育機関や企業組織そして地域には...

グループプロジェクトでは評価計画書を提出するが，その他に個人レポートとして，下記の課題を検討中。 ■レポート課題：プログラム評価に関する実証論文のクリティーク Evaluation and Program Plannin...

■学部・大学院におけるプログラム評価の学び：体系化のための課題と展望　安田節之　慶應経営論集  34 115-130   2017年3月　PDF [pass] ■プログラム評価： 臨床心理サービスのアカウンタビリティ向上...

備忘録： 何をどう捉えるかが難しかったが，ベストプラクティス・アプローチの側面から「問題」を提起し（”問いを立て”），プログラム評価の側面から「解決」につながる方法論を提示する（”解決法を探る”）ことと捉えると，スムーズ...

社会的インパクト評価に関する参考資料のリンク（内閣府NPOホームページより）。評価ツールキットなどもあり参考になる。

TQMにおいて有用なツールとなるものの1つに特性要因図がある。いわゆるQC7つ道具と呼ばれるものの1つであり，フィッシュボーン図と同じ構造をしている。この方法はプログラム（介入）の必要性を吟味するために行う問題分析に効果...

ベンチマーキングではその対象を外部に求めるのか，あるいは内部に求めるのかという点がまず考慮される。つまり，外部の組織・プログラムのベストプラクティス（BP）をベンチマークするのか，あるいは自組織・内部のBPをベンチマーク...

ベストプラクティス・アプローチが発展した背景を調べるために，W.E.デミングの著書をはじめとする古典を読みすすめるなかで，やはり現在，一般的に使用されている「ベストプラクティス（BP)」すなわち最新・最善の科学的な研究結...

「プログラム」であることの唯一の定義は「ゴール」があることとされる。すなわち場当たり的な活動・実践はプログラムとして定義できないとされている。システムについても同様の記述があったのでメモしておく： “A sy...

同じ組織内でのジョブローテーション（あるいは別組織への出向）がベストプラクティスを促進すると考えらえていた。つまり，”最良の実践”とされている内容や方法を他部署から学ぶということである。ジョブローテーションはベストプラク...

研修プログラムがもつ本来の効果を測定するためにサクセスケースメソッド（SCM）が用いられることがある。その際，インタビュープロトコルが非常に重要となる。フォーマルなSCMでなくても，インフォーマルな形のものがあったのでメ...

ロジックモデルはプログラム全体を包括的に捉えることが可能であるため，例えば，TQM（total quality management）の実践に活用することが可能である。一方で，カイゼンの必要性や向上の可能性がある部分をピ...

1980年代に米・ゼロックス社が当時の日本のキャノンやリコーの効率化・低コスト化された製品開発に対抗するために行ったのがベンチマーキング（BM）の始まりとされている。なかでも異業種であるL.L.ビーンの在庫管理システムを...

Benchmarking: An international Journal

チームワーク（≒ work group）と同義的に扱われることも多いワークチーム（work team）の定義： “An interdependent collections of individuals wh...

下記はエビデンスベースドとベストプラクティスの両アプローチの有効的な適用（”Best of both worlds”）のあり方について書いたものであるが，そもそも両者の成り立ち（例：医学と経営学）やサービスの...

先日，学生相談学会でワークショップを担当させて頂いた。反省点も含め備忘録的にメモしておく： 参加者23名。 グループワークは5名×3グループ，4名×2グループの計5グループ グループ分けのテーマ候補は，当日参加者兼サポー...

プログラム（「原因」）の効果（「結果」）の間に存在する因果関係を成立させるためには，様々な”ハードル”を越えなければならないない。ハードルを越えるとはすなわち外生要因の影響を検討・排除することであり，それらについて方法論...

ラボでのコンサルテーション活動の一環として『児童館等における「遊びのプログラム」の効果の検証・分析に関する調査研究』の研究委員を務めさせていただくことになった。広く「遊びのプログラム」を捉え，最終的にそれがどのように子ど...

来週末の学生相談学会のワークショップのメニューを設定したのでメモしておく： 「学生相談活動のためのプログラム評価入門」2018.5.19. 13:00-18:00（5h） 13:00-13:10 イントロダクション 13...

アメリカ心理学会（American Psychological Association）の大会での発表のため8月に久しぶりに渡米する。行き先はサンフランシスコである。2014年の2月に前任校の産業界GPの海外視察としてミ...

Allen, J., Mohatt, G., & Trickett, E. (2014).  Ecological description of a community intervention – ...

エンパワメントなかでも心理的エンパワメントはコミュニティ心理学領域で広く議論されており，なかでも定義や形式（例：プロセスかアウトカムか）を中心に概念化が行われている。一方で，エンパワメントとパワー（power）概念につい...

ワードマップ『コミュニティ心理学：実践研究からのアプローチ』（新曜社）の編集が最終段階まできており，7月上旬の学会大会までに見本または少なくとも紹介用のチラシが出来上がることになった。

医療ソーシャルワークの実践におけるプログラム評価に関するワークショップを担当することになった。２日目の担当である。 日本医療福祉協会HPの研修案内より： 2018年度ソーシャルワーク　スキルアップ研修 「ソーシャルワーカ...

先週，すららネットのアクティブラーニング・プログラム（LINK）に関するコンサルテーションを行った。プログラムのアウトカムの設定をどのように行うべきかについての検討を行った。今後も検討を続けていく予定である。 その他，臨...

下記のテーマで科研費が採択された： ベストプラクティス・アプローチに基づく心理教育プログラムの評価研究 文部科学省: 科学研究費補助金 基盤研究（Ｃ） 研究期間: 2018年 – 2020年    代表者: ...

以前にも検討したが，学ぶことが多い映画と言えると同時に，ライフキャリア研究の奥深さと難しさが分かる。

プログラムの「ゴール」と「サービス提供」は混同されるべきではないと書いた（ワードマップ，p.94-95）。これはゴールは本来，プログラムが提供されたことによって，どのような変化が利用者にもたらされるのかを正確に示すもので...

4月からの新年度でこれまで通り学部のキャリア研究調査法（量的調査）を担当する。量的調査のスキルを習得して将来のキャリアに何の役に立つのかと受講生から聞かれることがたまにある。一方で，データ分析のスキル，より高度なデータサ...

プログラム評価の本質は当該プログラムの「良し悪し」（価値）を評価する・評定する・評じあうことであるとされている。広く対人援助・コミュニティ援助の良し悪しの判断は複雑である。その際に参考になるというか基盤とすべきは倫理学の...

プログラム評価ラボでは，プログラム評価の知見や方法を活用してさまざまな介入・実践活動（プログラム）に関するコンサルテーション・コンサルティングを行っていく予定です。このラボではデータに基づいた評価研究を基本としています。...