(Forbes Japanへの寄稿が始まりました。同じ記事ですが、自分のブログにもミラーします)
こんにちはシバタアキラです。データサイエンスが日々新しい場所で取り入れられ、受け入れられていく現場にいます。もともと素粒子物理を研究していた私は「もっと科学で世界とつながりたい」と思って飛び出したのですが、むしろ今日となっては世界の方からどんどん迫ってくる勢いです。
一方で、データサイエンスの限界にも嗅覚が鋭くなっていきます。「限界を超えてこそ先が見える」という類の限界ではなく、根本的なトレードオフ、少なくともそのようにみえるものです。例えば以前「統計学が最強の学問であり、学問とはその程度であるということ」にも記したのですが、重要な意思決定、例えば自分は転職するべきなのか、とか、誰と結婚するべきなのかとか、この先何を目標にしようかとか、そういうことほど、科学の力で答えを見出すことは難しい様に感じます。重要な決断ほど、過去には前例はなく、データもなければモデルもないものです。そこで人はそういうときに、偶然に意味を見出してストーリーを作ったり、ジンクスを避けたり、宗教に身を委ねたりしますし、私もその例外ではないです。
データはあればあるほどいいと言うのは概してTrueですが、データを収集するコスト・時間を考えると、現実解はFalseとなることも多いのではないでしょうか。私の働いているDataRobot社でも、会社が大きくなるとともに事業状況を把握するためにより多くのデータを収集しようとしていますが、毎週のレポーティングの負担がだんだん大きくなってきました。以前だったら、自分の直感で進み、結果さえ出ていればOKだったことが、状況把握のためのデータ収集・入力のために無駄な時間を過ごしているように感じることもあります。データから価値を生み出す製品を商売にしておきながら、甚だ矛盾した考え方で、自己嫌悪に陥りそうです。実際にはこのようなデータを集めることで主観的には見えてこなかったパターンを見つけ出すことが出来るはずなのですが・・・。
観察者効果(Observer Effect)というのがあって、観察しようとする行為そのものが観察される現象に影響を及ぼしてしまうというトレードオフや観測行為そのものに起因する摂理を指します。例えば何かを見ようとすると暗闇では見ることが出来ないので、光を当てることになるのだけど、見ようとしている対象がすごく小さいもの(例えば電子とか)であるときは、見るために当てる光がその対象に与える変化を気にしないといけない。これにはいろいろな例があって
- タイヤの圧力を測ろうと思ったらタイヤの空気を抜かないといけない
- 温度を測るために温度計を入れることで熱が奪われてしまう
- 流量を計測するためにはパイプの中に歯車を入れるので、流量が妨げられてしまう
というような人間的に理解できるレベルのものもあります。一方で、物質の根源的単位である素粒子の世界を支配する量子力学においては、観察する行為そのものが現実を作るという結果が知られています。1999年に行われたDelayed Choice Quantum Eraser Experiment(遅延選択の量子消しゴム実験)という実験においては、観測行為そのものが、未知の粒子の状態を決定するという量子力学の波動関数の特性に加え、観測に伴って人間が知る行為そのものが発生したその瞬間に過去に起こった事象すらも遡って決定してしまうという奇想天外な結果を示しています。
この実験については様々な場所で議論がなされていますが、比較的わかりやすいものとしてはこんなビデオがあります。解説者の激しいなまりと、頭部の大きさが非常に気になりますが、それだけ脳みそがあってこそこの説明ができるのでしょう。
データ収集行為(知ろうとする行為)そのものが現実を決定する、という理論を突き詰めたアメリカの物理学者John Wheelerは、「過去とは人間が振り返り知ろうとする行為そのものによって作られるものである。それ以前からそこにあるのではない」として、この記事の文頭にある目玉宇宙の図に行き着いたのです。
こういった理論、実験、結果そして解釈がどのような現実的応用を持っているのかはまだ理解されていません。そのようなことに解を見出す苦悩の中に生きたければ、物理学はおすすめの学問です。ただ、私が言いたかったのはデータを収集するということは、それ自体が非常に大きな力を持っていることであり、世界を物理的に決定づけるようなこともあるということです。「こんなことはデータでは解決できない」と考える前に自分に自問するべきことは「本当にデータで解決できないといえるほど、ガチでデータを収集してきたのか」ということでしょう。