評価に関するメモ

従来の学校でのテスト(例:期末テスト)は,実験デザインの枠組では1群事後テストデザイン(記号: ”×〇”,×=介入,〇=測定)と位置づけることが可能である。しかし,この1群事後テストデザインは,有用性が極めて低いとされる...

2020年度集中講義(プログラム評価論)

2020年度は本務校(法政大学キャリアデザイン学部)ではサバティカルであるが,非常勤の集中講義「プログラム評価論」(東京大学大学院教育学研究科)の日程が決定したのでメモしておく: ■9月1日(火):2-5限 ■9月2日(...

メモ

2017年-2018年の臨床心理学研究方法の動向 1.量的研究法による分析(28件) 2.事例研究(18件) 3.面接データの質的分析(11件) 4.プログラムの効果検証(3件) 5.実験法(3件) 6.量的・質的研究に...

世代間交流論レポート課題(2019)

以下について、グループでレポートを作成してください: プログラムの実施背景(※社会的な背景に関する記述:1000字) プログラムが対処する問題やニーズ(※どのような社会的問題があるか:500字) 問題分析(※図の作成) ...

授業計画(集中講義,プログラム評価論)

第1回 イントロダクション 第2回 プログラム評価の目的と評価者 第3回 プログラムニーズの種類とアセスメントの方法 第4回 問題・課題の分析(演習①:問題分析) 第5回 ステークホルダーの確認(演習②:ステークホルダー...

評価アプローチ・モデルの例(2)

スタッフルビーム(Stufflebeam, 2001)によって評価モデルの類型・体系化が行われているが(参考:安田・渡辺,2008, p. 181),より具体的な評価アプローチの分類例として下記がある(Preskill ...

引用・参考文献リスト

備忘 頻繁に引用する文献のリスト(作成中): Alkin, M. C. (2004). Evaluation Roots: Tracing theorists’ views and influences. Sage, T...

2019年度集中講義(プログラム評価論)

2019年度の非常勤の集中講義「プログラム評価論」(東京大学大学院教育学研究科)の日程が決定したのでメモしておく: ■9月3日(火):2-5限 ■9月4日(水):2-5限 ■9月6日(金):2-6限   概要 ...

メモ:2018年度業績(学部提出)

【書籍】 『コミュニティ心理学:実践研究の方法論(ワードマップ)』日本コミュニティ心理学会研究委員会 (担当:分担執筆, 範囲:「コミュニティ心理学研究のあり方」「支援プログラムをデザインし評価するとは」「量的研究からの...

メモ:歴史

プログラム評価の領域にD. T. キャンベル(Campbell)と共同研究者の実験・準実験デザインが用いられるようになった大きなきっかけを作ったのが,E. サッチマン(Suchman)の書籍においてこの方法論が紹介された...

行動レベルの評価

研修プログラムの実施後に学習者に起こる行動の変化が「行動レベル」の評価である。研修プログラムにおけるステークホルダー,即ち人材育成などを依頼する側やプログラムの運営側が知りたいのは,研修後に本当に社員・従業員の行動に望ま...

against method

大学院のときに履修したPhilosophy of Scienceのクラスでの課題図書の1つ。正直なところ,当時は論理実証主義に基づく研究のみがあるべき姿と考えていた部分もあり,この本が意図するところを本当には理解していな...

質的評価:定義メモ

質的評価は、質的研究法に基づく評価である。評価の対象は、主に、実践・介入活動など何らかの目標を持って実施されるプログラム(事業)であり、その価値(value)や意義(significance)が、インタビュー、フォーカス...

秋学期の学部ゼミ

昨年度から秋学期の学部ゼミは2年生・3年生合同で試行錯誤しながら行っている(4年生は個別の卒論指導)。今学期はプログラム評価の学びを積極的に取り入れられればと考えている。 プログラム評価は実際に行われているプログラム(社...

EBAとBPA

ベストプラクティス・アプローチ(BPA)の研究を進めていくなかで,プログラム評価研究の基本的立場とされるエビデンスベースド・アプローチ(EBA)の内容と発展の背景を確認している。 キャンベル(D. T. Campbell...

各評価形式の定義

形成的評価,総括的評価,モニタリング,アウトカム評価,インパクト評価,パフォーマンス測定の定義。 出典:Preskill, H., & Russ-Eft, D. (2016, p.10-11). Building...

指標に関するメモ

先週の集中講義における効率性と有効性に関する議論の備忘録。一般に,効率性はロジックモデルにおける「アウトプット/インプット」,有効性は「アウトカム/インプット」と定義できる。ここでは両者とも,線形性を基盤とする。もしそれ...

因果関係・影響要因の検討(ワークシート)

プログラム(「原因」)の効果(「結果」)の間に存在する因果関係を成立させるためには,様々な”ハードル”を越えなければならないない。ハードルを越えるとはすなわち外生要因の影響を検討・排除することであり,それらについて方法論...

「遊びのプログラム」の評価研究

ラボでのコンサルテーション活動の一環として『児童館等における「遊びのプログラム」の効果の検証・分析に関する調査研究』の研究委員を務めさせていただくことになった。広く「遊びのプログラム」を捉え,最終的にそれがどのように子ど...

学生相談学会WSメニュー

来週末の学生相談学会のワークショップのメニューを設定したのでメモしておく: 「学生相談活動のためのプログラム評価入門」2018.5.19. 13:00-18:00(5h) 13:00-13:10 イントロダクション 13...

Trip to SFO

アメリカ心理学会(American Psychological Association)の大会での発表のため8月に久しぶりに渡米する。行き先はサンフランシスコである。2014年の2月に前任校の産業界GPの海外視察としてミ...

医療ソーシャルワーク領域におけるプログラム評価

医療ソーシャルワークの実践におけるプログラム評価に関するワークショップを担当することになった。2日目の担当である。 日本医療福祉協会HPの研修案内より: 2018年度ソーシャルワーク スキルアップ研修 「ソーシャルワーカ...

コンサルテーション(メモ)

先週,すららネットのアクティブラーニング・プログラム(LINK)に関するコンサルテーションを行った。プログラムのアウトカムの設定をどのように行うべきかについての検討を行った。今後も検討を続けていく予定である。 その他,臨...

科研費

下記のテーマで科研費が採択された: ベストプラクティス・アプローチに基づく心理教育プログラムの評価研究 文部科学省: 科学研究費補助金 基盤研究(C) 研究期間: 2018年 – 2020年    代表者: ...

プログラムのゴールとサービス提供の違い:メモ

プログラムの「ゴール」と「サービス提供」は混同されるべきではないと書いた(ワードマップ,p.94-95)。これはゴールは本来,プログラムが提供されたことによって,どのような変化が利用者にもたらされるのかを正確に示すもので...

量的調査のスキル

4月からの新年度でこれまで通り学部のキャリア研究調査法(量的調査)を担当する。量的調査のスキルを習得して将来のキャリアに何の役に立つのかと受講生から聞かれることがたまにある。一方で,データ分析のスキル,より高度なデータサ...

コンサルテーション

プログラム評価ラボでは,プログラム評価の知見や方法を活用してさまざまな介入・実践活動(プログラム)に関するコンサルテーション・コンサルティングを行っていく予定です。このラボではデータに基づいた評価研究を基本としています。...

社会的インパクト評価(メモ)

社会的インパクト評価の事例を以前にも検討したが,世界で初めて実施されたソーシャルインパクトボンド(SIB)に関する評価レポートのリンク(Peterborough Social Impact Bond:Final Repo...

即時的・中長期的アウトカム(メモ)

多くの場合,即時的アウトカムでは利用者の知識・態度・スキルの変化,中期的アウトカムでは(知識・態度・スキルの変化にともなう)利用者の行動の変化,長期的アウトカムでは利用者の状況・立場・地位などの変化,というような個人内外...

意図しない(予期せぬ)効果・副次的効果

プログラムが奏功するつまり効果があがれば,そのプログラムをエビデンス・ベースドのプログラムとして”パッケージ化”し普及する。この作業は,プログラムの有効性(effectiveness)を確かめ,その次の段階として,効率性...

効果測定・評価報告書

以前から取り組んでいる産学連携プログラム(TPCプログラム)の評価研究に関して,データ収集を行った学校向けに効果測定・評価報告書を執筆した。TPCプログラムは課題解決学習(PBL)を通したチームワーク向上(※チームエンパ...

学生相談学会ワークショップ

日本学生相談学会第36回大会において下記のワークショップを担当することになった: 学生相談活動のためのプログラム評価入門(研修領域F) 日時: 5月19日(土)13:00-18:00 概要(大会HPより) 学生相談には、...

集中講義(プログラム評価論)日程

2018年度の非常勤の集中講義「プログラム評価論」(東京大学大学院教育学研究科)の日程が決定したのでメモ: ■8月28日(火):2-5限 ■8月29日(水):2-5限 ■8月31日(金):2-6限   概要 プ...

Respect Data, Trust Judgement — J. Morell

このラボのミッションは「活動をカタチに,効果をデータに」である。これは「プログラム」を可視化し,その効果をデータに基づいて「評価」する,というプログラム評価の基本姿勢と連動させたものである。 これまで多種多様なプログラム...

評価クエスチョンの設定

コミ心誌の特集論文執筆にあたって変更の必要性に気がついたので,ステップ5にあたる評価クエスチョンの設定に関するワークシートにステークホルダーの関心と影響および優先順位を追加した。参考:プログラム評価論 『プログラムの開発...

評価の形式×アプローチ

評価の形式 × アプローチのマトリックスを作成し類型化すると分かりやすいと考えられる。ただ,各アプローチがそれぞれの評価形式をどのように捉え(定義し),応用できるのかを見出すのは困難と考えられ,各マトリックスに該当する評...

職業キャリアに関する評価研究

職業キャリア(労働)に関する評価研究の情報はCLEAR(Clearinghouse for Labor Evaluation and Research)に集約されている。同様に,教育領域で実施されるプログラムの評価研究の...

アメリカ心理学会2018

もう1つのAPAの発表原稿が無事アクセプトされた。学部の同僚との共同研究である。 Psychological Empowerment, Sense of Community, and Meaning in Life am...

メモ:MTO program

今学期のコミュニティとキャリア(CD研究科)の授業中にどうしても名前が思い出せなかったのでメモ:moving to opportunity (MTO)プログラム。貧困格差是正を目的としたプログラムで,希望者を3つのユニッ...

評価結果の活用

プログラムに関する評価活動が結実する,つまり“評価結果が何らかの意思決定やアクションに利用・活用(use)される”ための影響要因は,政治的要因(political factor)とステークホルダーの個人的要因(perso...

A theory can never be proven

A theory can never be proven; rather, a theory has yet to be disproved. 演繹的にであるが、ここに常に既存の理論にチャレンジすることが大切な理由がある...

アメリカ心理学会2018

謹賀新年 今年の8月のアメリカ心理学会での発表のために提出した原稿のうち1つがアクセプトされたと連絡があった。発表準備にあたって査読者のコメントを反映せよとのことである。 Yasuda, T., Umezaki, O.,...

ライフ&ワーク

教育研究・家事育児(2歳の息子)の合間をぬって,今年も山登り(低山ハイク)によくでかけた。思えば40歳(4年前)のときに前の職場の同僚と高尾山に登ったのがきっかけで,それから奥武蔵(秩父)・丹沢・奥多摩の山々に登るように...

ポジティブ心理学に基づく介入

大学生のライフキャリア教育の一環として,TGT(Three Good Things in Life)エクササイズを行った。無作為化×ウェイティングリストコントロールデザイン(LINK)を応用させたアウトカム評価を行ったが...

評価クエスチョン

調査研究にリサーチクエスチョンがあるように,評価研究には評価クエスチョンがある。両者の違いは,調査と評価の違い(例:探究の焦点,結果の一般性,重要性の基準,参考:安田,2011,p. 18の図)および誰が答えを求めている...

社会実験か社会探究か

プログラム評価の発展初期においてD.T. キャンベルらが推進した「社会実験(social experimentation)」の方法に対して,L.J.クロンバックらは社会で実施されているプログラムを実験的に評価すること自体...

量的・質的アプローチの比較

以前にも書いたが,量的アプローチと質的アプローチが依拠する考え方についてまとめたものを出版したので記しておく。D. T. CampbellやL. J. Cronbachといった心理学の方法論(量的研究)を作ってきた人々の...

実践者と評価者の関係性

メモ: 「実践家の役目はプログラムの効果を信じる(believe)ことで,評価者の役目はそれを疑う(doubt)ことであるとよく言われます」(安田,2011,p. 40)について,この本を書いているときにどうしても引用元...

APA

2018年8月にアメリカ心理学会がサンフランシスコで行われるため,発表原稿2本を大急ぎで作成中(〆切:12月1日)。アクセプトされたら久しぶりに参加できる。2つとも共同研究で,1つはエンパワメントとコミュニティ感覚がライ...

事例検討

「グループ・プログラム」に焦点を当てた事例検討を横山先生の発表をもとに行った。2時間では足りないくらいのディスカッションであった。参加者は様々なプログラムに携わっているが,評価について共通の課題(問題意識)をもっているこ...

地域でのプロジェクトの評価研究

昨日のゼミにて3年生(苫米地さん)がボランティアそしてゼミ論・卒論の研究の一環として参加している「渋谷ズンチャカ!」から細田幸子様(ヤマハミュージックジャパン)においで頂いて,音楽を通したまちづくりに関するお話を伺った。...

メモ:PDMの活用

授業(世代間交流論)でのロジックモデル作成後に活用する。前提条件等などが設定しにくい場合には,別の項目で対応する。参考

プログラム評価『論』のむつかしさ

今年の8月に非常勤講師を担当した大学院科目であるプログラム評価論(東京大学大学院教育学研究科)の授業評価の返却があった。非常勤講師というよりは自分自身が学習者のつもりで毎年臨んでいる授業である。おおむね良好(というか平均...

サステナブルな地域プログラムの運営

持続可能・自立発展的(サステナブル)な地域プログラムの運営とは何かについて検討している。ここでのプログラムとは一般に,非営利かつ自発的(ボランタリー)で地域をベースにした活動である。 以前に行った調査では,プログラムのロ...

再掲:コミュニティ心理学概念のまとめ

コミュニティ心理学会研究委員会編の「ワードマップ コミュニティ心理学:実践研究からのアプローチ」(新曜社)の校正が進んでいるが,そのなかで検討したコミュニティ心理学概念をまとめたものである(LINK)。

関係性のなかでのライフキャリア探索

ライフキャリアの探索や学びの基本は,いかに生きるかという「問い」への「答え」を,自己の視点はもとより,家族・友人といった集団や地域や組織などのコミュニティといった関係性のなかから見出すことであると言える。 ライフキャリア...

ロジックモデルの各要因の測定

プログラムの流れをインプット→アクティビティ→アウトプット→アウトカム→インパクトの順に整理整頓して捉えるのがロジックモデル(LM)である。LMの各要因を高い信頼性のもと測定するのには一体,何項目必要なのか。特に目安は存...

事例検討会(第2回)のメモ

今年の5月に実施した事例検討会につづき,2回目の検討会を開催する準備を進めています。今回は「心理支援におけるグループ・プログラムの実践と評価」について,横山孝行先生(東京工芸大学)にご発表いただきます。10月頃を予定して...

データ収集

3年のゼミ生がお世話になっているプロジェクトにおいて,評価データ(ふりかえりデータ)の収集を行うことになった。ステークホルダーからの情報をもとに質問項目を作成し,データ収集を行う。M. パットンが提案する実用重視型評価(...

増補版

『ワードマップ プログラム評価(対人・コミュニティ援助の質を高めるために)』を2011年に出版し,プログラム評価論および関連授業において教科書として活用している。ただ加筆したい内容などが多くあり,出来れば増補版を執筆でき...

補足PPT(集中講義)

プログラム評価の概要に関するパワーポイント。 7/28/2017のトピック: ①評価クエスチョン(ワーク) ②評価可能性アセスメント ③実験・準実験デザイン(ワーク×2) ※教科書(p.192-228),補足資料(「実験...

集中講義(プログラム評価論)

プログラム評価論の夏季集中講義(2017年度,東京大学大学院教育学研究科)の日程。 ■7月25日(火)2-5限 ■7月26日(水)2-5限 ■7月28日(金)2-6限 ※関連リンク   ■ プログラム評価論 [...

ワークショップ

日本学生相談学会第36回大会においてワークショップを担当することになった。日時: 2018年5月19日(土) 13:00~18:00 (於:関東学院大学)テーマ: プログラム評価入門

質的評価

質的心理学会の15周年記念事業として出版される辞典の一項目(「質的評価」)を執筆することになった(学会員ではないのにお誘い頂き光栄に思います)。質的評価と聞けば真っ先に,M. パットンの評価アプローチが思い浮かぶ。質的ア...

質的・量的アプローチ

遡ること10年以上前の大学院のcomprehensive examのお題の1つとして提出した論文(というかリアクションペーパー)が質的アプローチと量的アプローチの認識論・方法論からの比較についてであったが,折に触れて見返...

エビデンスとベストプラクティス

Evidence-Based ApproachとBest Practice Approachの関係性についてまとめた図(LINK)。「フィールド実験の可能性」を「アウトカム評価の可能性」,「ベンチマーキングの可能性」を「...

RCT関連論文(プログラム評価論)

実験デザインに頼らない評価アプローチの可能性が検討されるなか,因果関係の特定においてはやはりRCTが優れている点が指摘されている。特に,教育領域でのRCTの応用が他の領域に比べて少ない理由が詳しく書かれている。 Cook...

ディベートに基づく評価(プログラム評価論)

下記の3つのモデルは,ファクトやエビデンスを参考に,政策やプログラムについてディベート方式で評価を行うアプローチである。当該政策・プログラムに賛成する側と反対する側とが、互いにデータ(ファクト・エビデンス)を持ちより,そ...

備忘録③ 演習用

犠牲者非難(Blaming the Victim)となってしまっている政策・プログラムは何か。 コミュニティ心理学×プログラム評価のミッションは、programmatic changeか、community change...

備忘録(統計的仮説検定への批判)

心理学研究法についての調べごとをしていたら、院生時代にNHST(null hypothesis significant testing)への批判について発表した際の資料が出てきたので、備忘録的に書いておく。(発表タイトル...

RCTによるアウトカム評価

以前にも検討したが,ランダム化比較試験(RCT)を反復的にウェイティングリストコントロールデザインの枠組みで行うRandominzed Weigthing List Control Design(RWLCD)に基づいたア...

シンポジウム(コミ心大会 2017.7.2)

■日本コミュニティ心理学会 第20回大会(於:上智大学) 研究委員会 企画シンポジウム 7月2日(日)13:10-14:40 コミュニティ心理学におけるプログラム評価:理論・実践・研究の方向性 司会・話題提供: 安田節之...

予防プログラムのベンチマーク

コミュニティベースの予防プログラム(Communities That Care)の導入研究に関してのベンチマークが参考になる。コミュニティ連合(community coalition)が「エビデンス」と「実践」の架け橋と...

EBPとベストプラクティス

より現実的なプログラム開発・実施のアプローチとして,エビデンスに基づく実践(EBP)の他に,ベストプラクティス(BP)の可能性を以前に検討した。どちらのアプローチをとるにしても,評価研究の知識や関連スキル(例:調査・測定...

事例検討会メモ

プログラムの事例検討会では単なる事例報告ではなく,下記のような視点を用いてディスカッションを行う予定: ■すでに行っている評価だけでなく,今後,どのように評価しようと思っているか。 ■評価実施に関して,困っていること,行...