アメリカのワシントンDCで教師をしていたサラ・ウィソッキーは、突然の解雇通知に驚いた。教師歴はまだ2年と浅かったものの、懸命に仕事に向き合い、生徒や保護者から高い評価を得ていたから解雇はより大きなショックをもたらした。
彼女を解雇に追いやったのは、IMPACTと名付けられた教師評価ツール。生徒の学力向上に対する教師の貢献度を計算するIMPACTは、業績の低い教師を一掃しようとする試みのなかで開発された。ウィソッキ―はなぜ自分が低評価を受けたのかを調べようとしたが、専門家によって作り上げられたIMPACTのアルゴリズムは高度かつ複雑すぎて、とても理解できるものではなかった。
ウィソッキーは、彼女の真の働きぶりを知る生徒がその優秀さを証明したことで、すぐに裕福な地域の別の学校に就職することができた。この一例だけを見てみると、貧しい学区は高度なモデルで優秀な教師を失い、富める学区は生徒・保護者の評判や対人面接で優秀な教師を獲得することとなったといえる。IMPACTが”業績の低い教師”を追い出すことで、生徒たちの環境はより良くなったのだろうか
著者キャシー・オニールは、このIMPACTのように「貧しい者や社会で虐げられている者を罰し、豊かな者をより豊かにする」有害な数理モデルを「数学破壊兵器（Weapons of Math Destruction）」と呼ぶ。数学破壊兵器は迫りくる脅威ではない。本書で多数の事例が示されるように、数学破壊兵器は既に世界中に拡散している。大学ランキング、オンライン広告、犯罪の取り締まり、勤怠管理など、我々の生活は数学破壊兵器によって浸食されているのだ。さらに悪いことに、ビッグデータの蓄積及びAIの発展によって、その普及速度は加速度的に増しているのだ。
オニールはもともとこの数学破壊兵器を作り出す側にいた。数学を専門とする彼女はコロンビア大学の教授職を捨て、米国大手ヘッジファンドであるD・E・ショーで金融工学の専門家たるクオンツとなった。グローバル経済で数学を実際の世界に適用する仕事に心躍らせていたオニールに、2008年の秋大きな衝撃が襲う。リーマンショックに端を発する世界金融危機で、高度な数学が生み出したテクノロジーが、世界をより不安定なものとしている現実に直面したのだ。
数学がその一端を担っていたことに失望し、幻滅した。醜悪な真実 ―公式化されたモデルが事実の解明のためではなく印象操作のために意図的に利用されていた事実― を否応なく突き付けられたのだ
そして、オニールは自らのキャリアの方向性を大きく変更し、数学破壊兵器の武装解除を目指すこととした。本書は数学破壊兵器がどのように私たちの生活に影響を与えているかを様々な事例に基づいて教えてくれる。複雑な数学の話や数式は1つも登場しないので、数学に苦手意識を持つ人でも問題なく読み通し、数学破壊兵器を手なずけるヒントを得ることができる。
この世にあふれるモデルの全てが数学破壊兵器だというわけではない。『マネーボール』で広く知られたように、ベテランの直感に支えられてきた野球の世界への統計学的手法に基づくモデルの導入は大きな成功をもたらした。選手の見た目や人気などの曖昧な印象ではなく、ヒット数やエラー率などの確実なデータに基づく選手評価により、球団はより多くの勝利を手にすることができたのである。
野球モデルが成功し、教師モデルが上手く機能しなかったのはなぜなのか。実は、この2つのモデルにはくつもの違いがある。野球モデルでは予測したい結果である「勝利」に直結するホームラン数などのデータが豊富にあるのに対し、教師モデルで予測したい「生徒の学力向上に対する教師の貢献度」に直結するデータは存在しない。そのため、こちらのモデルでは代理データを使用せざるを得ない。他にも多くの違いがあるが特に重要なのは、野球モデルでは統計データが絶えず更新され、新たなデータのフィードバックによってモデルの精度が日々向上していくところにある。下位数%の教師を解雇するIMPACTには、その解雇がどのような結果をもたらしたかをフィードバックし、モデルをアップデートする仕組みが存在しなかったのだ。
数学破壊兵器となってしまうモデルには3つの特徴がある。1つ目はモデルの中身が不透明・不明瞭であること、2つ目にはモデルがモデル化の対象となる人々の利益に反する使われ方をすること、3つ目はそのモデルの規模が飛躍的に成長することだ。米国では囚人の再犯率を評価するためにLSI-Rという再犯モデルが高い評価を受けているという。受刑者はLSI-Rの質問に回答するときにはその使用目的も評価アルゴリズムも知らされておらず、LSI-Rの結果で刑期が伸びる可能性があり（減刑される場合もある）、採用する州は増え続けているという。LSI-Rは典型的な数学破壊兵器の事例といえる。
LSI-Rで再犯リスクを効率よく評価し、治安の向上に貢献できると考える人も多い。しかしながら、私たちは有害なフィードバックループに気を配らなければないと著者は説く。数学破壊兵器は格差を固定化・拡大する流れを強めるのだ。
「高リスク者」に分類される人物は、無職であったり、法に反する行為したことのある友人や家族に囲まれた生活を送らざるをえない地域の出身である可能性が高い。質問票の評価スコアが高いせいで、その人物の刑期は長くなり、刑務所で犯罪仲間に囲まれて過ごす時間も長くなるーそのこと自体が、刑務所に戻ってくる可能性を高める。
USニューズが1988年に初めて発表した大学ランキングがアメリカにおける大学の学費高騰に寄与していること、オンライン広告が貧困者を狙い撃ちにしていること、従業員のシフトを効率的に管理するスケジューリングソフトが過労をもたらしていること、SNSを活用したマーケティングが政治の行方を左右していることなど、数学破壊兵器が現代社会に与えている影響の大きさには驚くばかり。「骨相学のデジタル版」としか呼べないような稚拙なモデルも多いにも関わらず、一度そのようなモデルで評価を下されると、その評価を覆すことが不可能なほどに困難であることには恐怖すら覚える。
アルゴリズムを作り上げるどころか理解することすら覚束ない、数学者ではない私たちにもできることはあるのだとオニールは語りかける。本書を読んで数学破壊兵器の実態を知れば、より良い未来の実現に貢献できるはずだ。
ビッグデータは過去を成文化する。ビッグデータから未来は生まれない。未来を創るには、モラルのある想像力が必要であり、そのような力をもつのは人間だけだ。私たちはアルゴリズムに、より良い価値観を明確に組み込み、私たちの倫理的な導きに従うビッグデータモデルを作り上げなければならない。それは、場合によっては利益よりも公平性を優先させる、ということでもある。
本書の編集部による解説はこちら。
「平均」という強力なモデルは私たちの思考まで縛り付けている。平均思考を脱し、個性を発揮するためのヒントが満載の一冊。レビューはこちら。
アルゴリズムは多くの果実も人類にもたらしている。アルゴリズムとは何か、具体的にどのように機能しているのかを9つの事例をもとに知ることができる。レビューはこちら。
AIは何ができて何ができないのか、AIによる東大合格を目指した「東ロボくん」プロジェクトの経験から見えてきたAIの真実が明らかにされる。レビューはこちら。
『マネーボール』のマイケル・ルイスが世界経済危機の裏で、モデルの不備に気づき、大儲けした男たちのドラマを描き出す。
