前回は、成果連動型民間委託契約方式（Pay For Success以下、「PFS」という。）の基礎知識・活用のメリットを説明した。
今回は、実際にPFS事業を企画・構想する過程で多くの自治体が直面すると想定される課題と対応策について解説する。
内閣府が実施したPFS事業の実施・検討状況等に関する自治体向けのアンケート調査において、PFS導入上の課題として「適正な成果指標・評価方法の設定が困難」であることが最上位となっている。そこで、本稿では、成果指標・評価方法の設定に関する基本的な考え方と、実践のポイントを解説する。
1.成果指標・評価方法の設定に関する基本的な考え方
成果指標・評価方法の設定に関する基本的な考え方としておさえておくべきポイントは以下の３点である（※1）。
①成果指標と事業⽬標との間に⼀定の因果関係があること
前回のコラムで説明したとおり、PFS事業の評価の対象は、「アウトプット」（実施内容）ではなく、「アウトカム」（得られた成果）である（図表2参照）。
PFS事業においては、図表2のような「ロジックモデル」と呼ばれる図式を用いて、事業活動とアウトカムとの間のロジック（因果関係）の存在を説明することになる。つまり、ロジックモデルにより、アウトカムは事業活動の結果としてもたらされたものであることを推定する。
なお、「事業活動とアウトカムの因果関係に関する科学的（もしくは客観的）根拠」（※2）は「エビデンス」とも呼ばれる。
また、「一定の因果関係があること」を担保するにあたり、各事業におけるアウトカムの特性や事業実施期間を考慮する必要がある。既存のPFS事業で見られるアウトカムは、短期的に測定・評価が可能なものと中長期的に測定・評価を行うものに大別される。中長期的なアウトカムを成果指標として設定する際は、事業開始から効果測定時点までの期間が長くなるにつれて、アウトカムに影響を与えるPFS事業以外の要因の特定が難しくなる点に留意が必要である（下記③参照）。
なお、実際には、短期的なアウトカムと中長期的なアウトカムとのいずれかではなく、アウトプットの性質に近いものも含めた短期的なアウトカムと中長期的なアウトカムとを組み合わせて柔軟に成果指標を設定するケースが多い。
②成果指標値の改善状況を把握するためのデータが収集でき、測定可能なものであること
成果の評価を行う前提として、数値化できる成果指標でなければ変化を定量的に把握することができない。このため、最終的に評価したい成果指標を数値化できるよう、数値化の基となるデータは収集・測定が可能なものを想定する必要がある。
③成果指標値の変動要因について、PFS事業以外の要因が相対的に⼩さいと想定されるものであること
評価時の問題の一つとして、アウトカムに影響を与える事業活動以外の要因の完全な排除は難しいことが挙げられる。例えば、介護予防を目的としたPFS事業を実施する場合、当該事業で実施するプログラムへの参加以外にも、被験者において独自の運動・外出等の活動が行われている可能性を否定できず、一定期間後に現れる効果が当該プログラムのみによるものかは判断が難しい。つまり、ロジックモデル上の「因果関係の推定」が明確に成立するとはいえない場合がある。PFS事業では、上記①のとおり、ロジックモデルの確からしさの担保が重要となるため、できるだけ短期的に評価できる、初期アウトカムに相当する成果指標を設定するのが適当である。もし中長期的なアウトカムを設定する場合、例えば、介護予防事業において介護給付費の削減効果を成果指標とするようなケースでは、介護予防効果を示すための評価モデルや、PFS事業による財政効果の推計ロジック等を用いて、成果指標との因果関係を説明することが考えられる。
2.成果指標・評価方法の設定に関する実践のポイント
上記の基本的な考え方を踏まえ、実際にPFS事業を組成する際には、以下の３点を実践しつつ、成果指標・評価方法を検討すべきである。
①既に実施されているPFS事業がないか確認する
テーマ探索の段階で既に確認されているかもしれないが、まずは、同じテーマで既存のPFS事業がないかを確認することが最優先である。同様の事業⽬標を設定するPFS事業の例がある場合、当該先⾏事例の成果指標を活⽤することにより、効率的・効果的な検討が可能となる。
②既存の研究知見（エビデンス）がないか確認する
PFS事業としての先行事例がない場合は、次に、同じテーマにおける既存の研究知見がないかを確認すべきである。特に、医療・介護分野については、研究知見が蓄積されつつあり、成果指標に直結するようなエビデンスが存在するテーマもある。また、エビデンスのある研究知見をベースとする場合は、そのロジックモデルの確からしさが担保される可能性が高い。既存の研究知見を活用している例として、前回のコラムでも紹介した堺市が挙げられる。
■既存の研究知見を活用している事例：堺市
同市のPFS事業では、成果指標の一つとして、「要介護状態進行遅延人数」を設定しており、要介護状態進行遅延の測定にあたり、「要支援・要介護リスク評価尺度」を活用している点が特徴である。この尺度は、千葉大学および一般社団法人日本老年学的評価研究機構が開発したものである。このように、既に開発されている尺度等を活用することで、エビデンスを担保するハードルを大きく下げることができる。
③パイロット事業を通じてエビデンスとなり得るものを構築する。その際、因果関係が比較的明確で短期的に効果を得られる成果指標を優先的に検討する
PFS事業として新しいテーマに取り組む場合、先行事例や既存の研究知見が存在しないこともある。そのような場合であっても、段階的に施策と成果の関連性を確認することで、納得性の高い成果指標・評価方法を設定することはできる。具体的な対応方針の一例として、PFS事業の開始予定の前年度等においてパイロット事業を実施し、施策による介入効果の検証を行うことが考えられる。このようなケースの対応事例として、福岡市が挙げられる。
■先行事例や既存の研究知見がない場合の対応事例：福岡市
同市は、医療費適正化を目的として、服薬の適正化を目指すPFS事業を実施した。当初、平成30年度からの事業実施を検討していたが、成果指標や目標値の設定が困難であったことから、平成30年度にはパイロット事業を実施することで、介入による効果を検証することとした。当該パイロット事業においては、RCT（ランダム化比較試験）を用いて、対象者2,000人のうち1,000人に通知書を送付し、未送付の1,000人（コントロール群）と比較して成果を分析した。一定の成果が期待できることの確認を踏まえ、同市は、成果指標として重複服薬者の改善率、併用禁忌服用者の改善率を採用し、これらに関する支払基準等を設定した。
このように、企画・構想段階で先行事例や既存の研究知見がない場合であっても、事業の本格実施前にパイロット事業として効果検証のステップを挟むことで、事業化につなげることは可能である。
その際、因果関係が比較的明確で短期的に効果を得られるアウトカムに着目することで、事業開始のハードルを下げられる。福岡市のパイロット事業で採用されたRCTは、因果関係が比較的明確なものであり、エビデンスの担保の観点からも理想的といえる。また、中長期的なアウトカムについては、もし事業開始当初からの設定が難しければ、例えば５年間の事業期間がある場合には、最初の2年間で収集したデータに基づき、追って新たな成果指標を確立するといったことも考えられる。
なお、第三者評価機関として研究機関を活用するケースも見られるが、上記①～③いずれの場合においても、自治体は、事業の企画・構想段階から、知見を有する研究機関や民間事業者等と積極的に連携することで、成果指標・評価方法の検討・設定をよりスムーズに行うことができると考えられる。
3.おわりに
本稿では、適正な成果指標・評価方法の設定方法がPFS導入の大きな課題となっている状況を踏まえ、その課題に対する基本的な考え方と実践のポイントについて解説を行った。
PFS事業においては、事業目的や各種制約条件等に照らし、可能な範囲でロジックモデルの確からしさを担保することが求められる。その際、まずは先行事例や既存の研究知見の活用を検討すべきであるが、それが難しい場合であっても、パイロット事業等の効果検証のステップを設けることで事業化につなげることは可能である。
現在、自治体が対応すべき社会課題の一つに高齢化の進展に伴う介護給付費の抑制が挙げられることに加えて、近年は高齢者の介護予防・リハビリ等に関する研究知見の蓄積が進みつつあり、同分野におけるPFS事業の活用の可能性はますます広がっている。
各自治体におかれては、本稿を参考に、超高齢化社会における効果的な課題解決の一手段としてPFS事業の実施を検討することが期待される。
（※1） 内閣府「成果連動型民間委託契約方式（PFS：Pay For Success）共通的ガイドライン」より引用。括弧内の記載は筆者による補足。
（※2） 内閣府「成果連動型民間委託契約方式（PFS：Pay For Success）共通的ガイドライン」より引用。
以上
※記事は執筆者の個人的見解であり、日本総研の公式見解を示すものではありません。
関連リンク
連載：【社会的課題の解決に向けたPFSの活用】
・第1回 PFSの基礎知識・活用のメリット
・第2回 PFS事業における成果指標・評価方法設定のポイント