コンサルティングサービス
経営コラム
経済・政策レポート
会社情報

経営コラム

オピニオン

AIは、映画よりも、「静かに」暴走する

2020年02月28日 八幡晃久


 2030年の日本を舞台に、AIが暴走する未来を描いた映画が人気となっている。公開後初の週末には、土日2日間で16.5万人を動員し、ランキング首位を飾った。同映画が描く日本社会では、人口の4割は「高齢者ないし生活保護者」となっており、医療費の増大を抑制、削減するための施策として「のぞみ」と呼ばれる医療AIが導入されている。
 「その日、AIが命の選別を始めた。」というキャッチフレーズの通り、全国民の個人情報を管理する医療AI「のぞみ」が突如暴走をはじめ、生きる価値のある人間とそうでない人間を区別しはじめる、という形で物語は進んでいく。
 AIによる「自律的な判断」と、それに基づく「自動的な処置」が人間のチェックなしに遂行され得るシステム。そのようなシステムが社会に普及した場合、AIの判断を捻じ曲げることで多大な影響が出かねない。この映画は、AIの持つリスクを、分かりやすい物語として表現していると言える。
 同映画では、ある人物の、悪意を持った、作為的な仕掛けにより、AIは暴走に至る。しかし、AIが世の中に広く普及する段階で本当に注意すべきなのは、誰の悪意にも立脚しない不作為の結果として、また、「静かな暴走」として起こり得る「バイアスの再生産・拡散」リスクであろう。以下に、代表的な事例を2つ挙げる。

女性というだけで、採用が不利になる
 米アマゾン・ドット・コムは、2014年から開発を進めていた「AIを活用した採用システム」の運用を断念している。理由は、技術関係の職種において性別に関するバイアスが発見されたこと、平たくいうと、男性が優位な評価を受ける傾向があることが判明したためである。具体的には、「女性チェス部の部長」や「◯◯女子大学卒業」など、履歴書の中に女性であることを示唆する単語が記されているだけで、評価が下がる傾向が認められた。もちろん、このように特定することができたバイアスについては、修正プログラムが施されたものの、別のバイアスが存在しないとは言い切れない。これが、開発を断念した理由である。

黒人というだけで、再犯罪を疑われる
 米国各州では、刑事事件の裁判において「再犯予測プログラム」が導入されている。これは、被告の犯罪歴などのデータに基づき、将来、当該被告が再び罪を犯す危険性を自動判定するものであり、裁判官の判断材料の一つとなる。2016年、アメリカのメディアが独自に再犯予測プログラムの精度を検証した結果として、以下(※1)に示すように、黒人のほうが再犯の危険度が高く評価される傾向がある、と報じた。

・「再犯予測」後、実際には2年間、再犯のなかった人物が、高い危険度評価を受けていた割合は、黒人が44・9%に対して、白人は23・5%と、2倍近い違いがあった
・逆に、「再犯予測」後、2年以内に再犯があった人物が、低い危険度評価を受けていた割合は、白人が47・7%と高く、黒人は28・0%と、こちらも2倍近い違いがあった

AIを介して、バイアスは拡散される
 採用における女性や、犯罪における黒人といったテーマは、いずれも、偏見や差別の代表的なトピックであると言える。ゆえに、開発したAIにバイアスが存在しないかどうかをチェックする視点として採り上げられやすく、是正される可能性も高い。しかし、米アマゾン・ドット・コムが採用AIの運用を断念した理由として挙げたように、もっと分かりづらい形でバイアスが内包されている可能性がある。企業の採用部門や、警察・検察組織に何らかのバイアスの種があり、それが再現されるとすれば、特定の大学・学部を卒業しているだけで採用されやすくなったり、特定のアニメが好きな未婚中年が女子中学校の近くに引っ越ししただけで監視が厳しくなったりするかもしれない。

 あなたは思うかもしれない。単にこれまであったバイアスが再生産されるだけではないかと。
 確かに、開発されたAIが、当該組織だけで運用されるのであれば、その通りかもしれない。しかし、ある組織のバイアスを含んだAIが、他の組織にも導入されるとすれば、どうだろうか。組織に存在するバイアスは、AIを活用したシステムとして、静かに他の組織にも感染していくかもしれない。
 また、あなたは思うかもしれない。人間がチェックする工程を設ければ、問題ないのではないかと。
 確かに、最終決定権は人間にあり、AIはあくまで判断材料を提供するだけである、という役割分担は、安心感をもたらす。しかし、想像してほしい。10万件の履歴書から、まずは1万件に絞りたい人事担当者は、「優先度が低い」と仕分けされた9万件の履歴書をどのぐらいしっかりとチェックするだろうか。また、想像してほしい。人事担当者として採用に携わるようになった、その初期の段階から、言い換えると、自分なりの採用観が醸成される前から、AIによる評価結果ありきの採用活動を行ってきた人材は、AIの判断結果にどの程度の自信をもって異議を申し立てることができるだろうか。担当者は移り変わるが、AIは残り、成長し続ける。結果、AIは、「長老」のような存在になっていくかもしれない。貴社が導入した採用AIシステムが、採用判断に何らかの「差別的扱い」をもたらしていることがメディアで報道されたとすれば、貴社のレピュテーションは痛手を受けるだろう。


AI導入は、自社のバイアスに気づく好機と考えよう
 AIには常にバイアスの再生産・拡散リスクがある以上、まず企業が留意すべきは、自社開発・他社開発にかかわらず、導入するAIに何らかのバイアスが無いか、チェックするプロセスを設けることである。例えば、AIに潜むバイアスを可視化するツールとして、グーグルからは「What if」、IBMからは「AI Fairness 360」というツールが提供されている。これらのツールを用いることで、統計的に、AIがもたらし得るバイアスをチェックすることができる。
 ここで重要なのは、バイアスと向き合う態度である。特に自社の学習データを用いて開発する場合は、「何らかのバイアスが存在するはず」という前提で、積極的にそのバイアスに気付く機会として考えることが重要となる。自社の特性をAIというシステムに投影することで、自社が持っていたバイアスに気付き、議論の俎上に載せ、よりよい方向に変えていく契機としてほしい。
 他社開発の場合は、「AIの判断」と「自社の感覚」のギャップに着目することで、自身のバイアスに気付きやすくなるだろう。これは、将棋の世界におけるAIの活用に似ている。AIは、これまでの「セオリー」に捉われない分、自由な打ち手をとるため、プロの棋士に新たな気付きを与える。特に、藤井聡太七段は、AIとの対局経験を自身の打ち手に取り入れることで強くなったと言われている。企業においても、AIから学ぶ余地は十分にあるはずである。

(※1)出所:『悪のAI論 あなたはここまで支配されている』(平和博〔著〕、朝日新聞出版)

※記事は執筆者の個人的見解であり、日本総研の公式見解を示すものではありません。
経営コラム
経営コラム一覧
オピニオン
日本総研ニュースレター
先端技術リサーチ
カテゴリー別

業務別

産業別


YouTube

レポートに関する
お問い合わせ