2008年にワイアード誌編集長(当時)のクリス・アンダーソンが、ビッグデータ時代の到来を謳った記事のタイトルである。彼が予見したように、この5年で我々を取り巻くデータは爆発的に増加し、ビッグデータをマーケティングなどに利用した成功例も聞かれ始めた。
本当に、大きなデータと強力なコンピュータさえあれば、理論は必要なくなるのだろうか。データの相関を適切に解析しさえすれば、ヨハネス・ケプラーのように惑星を観察して運動法則を理論化しなくとも、惑星の動きを、未来を正確に予測できるようになるというのだろうか。
本書の著者ネイト・シルバーは、理論が不要になることはないと、アンダーソンの主張に反論する。大量のデータを巧みな統計手法で操り、2008年の米大統領選の結果を50州中49州という高確率で的中(2012年は50州中50州で正解!)させたシルバーは、ビッグデータの持つ可能性を十分に理解している。本書でもビッグデータをうまく活用しているケースは紹介されている。それでも彼は、以下のように主張するのだ。
数字自体は何も語らない。語るのは私たちだ。
ビッグデータだけでは不十分だというなら、私たちはどのように未来を語ればよいのか。どうやって不確実な将来に向けて歩を進めていけばよいのか。著者は、野球やポーカー、さらに感染症予防などの幅広い分野で、どのように未来予測が行われているかを、各分野の第一人者へのインタビューを交えながら紹介していく。500頁を超えるボリュームで、予測にまつわる成功と失敗を語りつくす本書は、「予測学」の絶好の入門書といえるだろう。
野球選手の成績を予測するシステムをつくりあげ、上述の大統領選で名をあげた統計の専門家による本書だが、紹介されている数式は驚くほど少ない。また本書を読んでも、ビッグデータを効率的に扱えるプログラミングや統計的な有意差検定ができるようになるわけではない。
しかし著者は、多くの具体的事例を通して、良い予測と悪い予測の根本的な違いを教えてくれる。ベイジアンである著者自身が、どのような頭の使い方でデータを分析しているかを共有してくれる。本書を読了する頃には、より洞察的に不確実な未来と向き合えるようになっているはずだ。なにより、抽象的概念と難解な数式の解説が多くなりがちな統計の話が、知的興奮に満ちたストーリーに仕上がっている。また、一介のコンサルタントだった著者が、自らの予測力だけでタイム誌の「世界でもっとも影響力のある100人」に選ばれるまでに登りつめる過程も興味深い。
「予測がうまく機能している数少ない分野」として紹介されるのは、天気予報。予報に反する夕立に見舞われ、びしょ濡れになった経験を思い返せば、天気予報が「良い予測」であるというのは意外でもある。ところが、気象現象に対する理論の深化とスーパーコンピュータの進化によって、天気予報は確実に進歩している。例えば、IBMの「ブルーファイア」は、分子レベルから組み立てられた気象理論に基づく大量の計算をこなすことで、コンピュータ内に気象を作り出すことができるという。
この天気予報の精度向上は、アメリカ人が1年間に雷に打たれて死ぬ確率を、1940年時点の40万分の1から今日の1100万分の1にまで減少させた(アウトドア仕事が減ったなどの要因もある)。アメリカの国立ハリケーンセンターは、「カトリーナ」上陸の48時間前に、ニューオリンズが壊滅的被害に見舞われることを正確に予想していた。この予想にも関わらず、カトリーナは1600もの人命を奪った。良い予測は人命を救いうるが、良い予測だけではニューオリンズの人々の命を守ることはできなかった。予測はその精度だけでなく、活用方法にも目を配ることが必要なのだ。
天気予報とは対照的に、「悪い予測」として紹介されるのが地震予測だ。世界中の地震データが蓄積され、様々なシミュレーションが行われているにも関わらず、である。著者は、地震予測の失敗を例に出しながら、過剰適合や理論の不足など、予測を悪いものにする要因を浮き彫りにする。経済予測がなぜ当たらないのか、インフルエンザのパンデミックはなぜ予期できないのかも明らかになる。。悪い予測の共通点を理解すれば、巷に溢れる荒唐無稽な予測に振り回されることもなくなるはずだ。
あらゆる分野の予測学に手を伸ばす著者は、ベイズ統計学を思考の土台としている。自らの限界を認識し、新たな情報をもとに既存の考えを修正し続けることで、予測はより良いものへと近づいていくのだという。著者は、ジョン・メイナード・ケインズの象徴的な言葉を紹介する。
事実が代われば、私も考えを変える。あなたはいかがですか?
書店でビジネス書棚をのぞけば、統計学、未来予測に関する本であふれている。コロコロ変わる専門家の予測にうんざりした、数式ばかりの本は苦手だという人にこそ、本書をオススメしたい。シルバーの導きに従って「予測学」を体験すれば、あなたも世界を確率的に見たくなるはずだ。このレビューが、あなたを本書に導くシグナルになれば幸いである。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
ごく稀にしか起こらないため予測が難しく、壊滅的な結末をもたらすイベント、ブラック・スワン。9・11のテロや3・11のような出来事に私たちはどのように対処するべきなのか。世の中を正規分布で見ることの危険を訴える、世界的ベストセラー。タレブの最新巻『Antifragile』の邦訳が待たれる。
ビッグデータとは実際は何なのか。世界の最先端では、驚くほどにビッグデータが既に活用されている。バズワードとしてのビッグデータではなく、その本質を知るための一冊。
一見とっつきにくいベイズの定理とはどのようなものか。ベイズ誕生の歴史を振り返る一冊。高村和久のレビューはこちら。