ある日、ドアを開けると・・・
ある日、玄関の呼び鈴が鳴り、ドアを開けると警官が立っている。
「警察はあなたを監視しているので、気をつけるように」
そう告げられるが、これまで犯罪をおかしたことなどない。だが、ビッグデータを活用した「犯罪予測システム」によって、要注意人物として指定されたという。ソーシャルネットワーク解析によって、知り合いに犯罪者のいたことが、その理由の一端らしい。
・・・・・・・・・・・・・・・・・・・・
求職中のあなたは、就職したい企業に応募するが、どこからも断られてしまう。学業は優秀だし、採用されるとばかり思っていたので、たいへんなショックだ。原因はどうやら「適性検査」プログラムで、メンタル面に問題ありと診断されたことらしい。普及している電子審査のため、どこを受けても同様の決定がくだされるのだ。このような診断ツールは、すでに多くの企業で導入されている。
・・・・・・・・・・・・・・・・・・・・
活気あふれる職場で働くあなただが、あなたのメールやメッセージは「従業員ランク付けプログラム」に読み取られている。このソフトの測定基準には、「アイデア創出力」も含まれる。あるアイデアがコピーされる回数、流通度合をはかり、その発信者や伝達者を特定していくのだ。実のところ、あなたのランクはそう高くはない。リアルなコミュニケーションでは、貴重なアドバイスを授けたり、場を和ませる役割を担っているのだが、それはネットに反映されておらず、またマシンで数値化するのも難しいからだ。
・・・・・・・・・・・・・・・・・・・・
選挙も間近で、あなたのところにも立候補者からメッセージが届く。あなたが日頃、気にかけていることをくすぐるようなツボをおさえた内容だ。それもそのはず、あなたのさまざまなデータが利用され、独自のプロフィールとして束ねられているからだ。このプロフィールには、多くのスコアが付いている。たとえば、環境問題に対するスコアは高いが、国防や国際貿易に関するスコアは低い・・・といった具合だ。こうした手法は「マイクロターゲティング」と呼ばれ、個人ごとに受けのいいメッセージを送ることができる。しかし、立候補者が当選後、どのような公約を前面に打ち出すのかはまったくわからない。さらに、個人のスコアリングは、特定の有権者の重要度を高め、民主主義の土台を壊す可能性がある。
破壊兵器となるデータ活用
ここに挙げたのは、近未来の出来事ではない。米国で進行中のリアルな事例であり、本書にはほかにも多くの怖い真実が紹介されている。なかには、仕事の能力評価ツールのスコアが悪く解雇されたが、どうやらそれはデータ処理の前提に誤りがあったらしい、という悲劇まである。
だが、本当に怖いのは、AI・ビッグデータのアルゴリズムには、誤解や偏見などが付き物にもかかわらず、感情・忖度などのないマシンであるがゆえに、むしろ「公正」「客観的」だとして利用されていることだ。あるいは、多少のエラーがあっても、「効率」「利便性」が優先されてしまう。
悪いことに、被害者はなぜアルゴリズムによっておかしな判断がくだされたのか、という原因は通常わからない。アルゴリズムの中身は、ブラックボックスとなっているため、訴えても「耳を貸さない」のだ。
本書では、とくに悪質なアルゴリズムを、「数学破壊兵器」と呼ぶ。その要素は、仕組みが「不透明」で修正されにくく、急速に成長する「規模拡大」性をそなえ、不公平な内容などによって「有害」な影響を及ぼすーーという３点である。
今日の大きな問題は、そもそも定量化し数値に置き換えるのが難しい領域にまで、こうした破壊兵器が侵入していることだ。「教育・宣伝・仕事・健康・政治・犯罪」……といった日常の多くの場面で、こうしたデータ活用が進んでいる。
私たちの能力・適性・信用、さらには善悪や身体までもが、数値化・スコア化され、選別されているのである。
未来を創造できるのは人間だけ
アルゴリズムに評価されなくなると、そこに有害なフィードバックループが生まれる。たとえば、「eスコア」と呼ばれる信用格付けが落ちれば、就職やローンなどで不利になり、その影響がさらに他分野に及び……と悪循環にはまり、格差が広がっていく。
また、消費者のプロファイリングは、分類された「種族（トライブ）」として階級化を促すとともに、私たちの欲求を枠付け、コントロールしていくようになる。
本書は主に米国のデータ活用の事例を扱っており、その社会事情（個人情報の扱いや人種差別など）とも関係している。だが、本書が注目するのは、たんなる事例を超えた、データ活用の中核となる仕組みや目的なのだ。
たとえば、ある分野での規制を厳しくしても、分野を超えて次々と増殖していくのが、アルゴリズムの特性だ。個人情報の取り扱いを制限したところで、規制をかいくぐり、代理データなどで目的を果たす。
そう、人間を選別し、作業を効率化し、収益を上げるといった「目的」のもとにある限り、いたるところで有害な破壊兵器は増殖していく。本書は、けっしてAI・ビッグデータの活用そのものを否定しているわけではない。有害なアルゴリズムであっても、使い方次第で生まれ変わる。
そのために、私たちはアルゴリズムを監査するなどして、主導権を人間に取り戻さなくてはならない。モラルのある想像力によって、未来を創造できるのは、人間だけなのだから。
（本書は、世界的ベストセラーとなり、多数の年間ベストブック＆賞を獲得している）
