- AlphaGoの再実装プロジェクトを通じて、10層のニューラルネットワークがなぜ指数爆発的なゲーム木探索を近似できるのかを解き明かす回。
- NP困難とされる問題が実際には構造を持つ現実データで解けることの深い意味と、それが他の分野（AlphaFold、weather prediction）にも通じることを議論。
- LMコーディングの進化により、かつてDeepMindの何百万ドルのプロジェクトが今や数千ドルで再現可能になった背景と、その示唆する可能性について。
論点をもう少し詳しく読む
AlphaGoが解いた「深い探索を浅いネットワークで近似する謎」
Eric Jangが再実装を通じて最も強調するのは、AlphaGoの本質的な成就である：わずか10層のニューラルネットワークが、ほぼ手に負えない探索問題（ゲーム木の複雑性）を非常に高い忠実度で近似・短縮することができたという点だ。これはロボティクスなど直感的な決定とは異なり、深い計算サーチの結果であるGoの決定を、シンプルな前向きパスで実現している。この現象はAlphaFoldやAlphaTensorにも共通しており、一見困難に見える問題が実はニューラルネットで捉えられる構造を持っていることを示唆している。
ゲームのルール解説：Go（囲碁）の本質と計算複雑性
エピソード中盤ではGoの基本ルールを具体的なボードデモを通じて説明している。黒白の石を置いて領土を占領するというシンプルなメカニクスながら、相手の石を囲んで捕獲する仕組みは多くの分岐を生み出す。Trump-Taylorルールなどの標準化により、AIが統一的に学習できる環境が整備された。このゲームの複雑性がチェスより高い理由は、探索空間の広さと終局判定の複雑さにあり、これが当初はコンピュータにとって「手に負えない」と考えられていた所以だ。
計算複雑性理論へのインパクト：NP困難は本当に困難か
Eric Jangは、AlphaGoやAlphaFoldのような深層学習による成功が、古典的な計算複雑性理論の理解を揺さぶる可能性を指摘している。これらの問題は理論的にはNP困難だが、ニューラルネットワークは極めて効果的に解いている。彼の仮説は、最悪ケースでNP困難な問題でも、現実の自然データや競技環境には構造が豊富に存在し、その構造をニューラルネットが暗黙的に学習しているということだ。つまりP=NPの証明ではないが、何が「本当に困難な問題か」という根本的な問い直しを促す。
KataGoとオープンソース化による計算コストの激減
2020年にJane StreetのDavid Wuが開発したKataGoは、強いGoボットの訓練に必要な計算量を40倍削減した。かつてDeepMindが莫大な人員と予算（数百万ドル）をかけて成し遂げたAlphaGoの開発が、現在ではLLMコーディングの助けで数千ドル分のレンタルコンピュートで再現可能になっている。これはアルゴリズムの理解とコード化の進化、そしてオープンソースコミュニティの力を示す例だ。実際、現代の囲碁プロ棋士たちはKataGoに対して訓練を行っている。
ゲーム環境からLLMへの研究転移と自動AIの学習パイプライン
最後の議論では、DeepMindがゲーム（Atari、Go、StarCraft）でのブレークスルーから得た知見が、現在のLLM研究にどの程度転移しているのかが問われている。Eric Jangは、ゲーム環境での経験（検証が速い、反復が可能）から、より複雑で経済的価値が高い問題（創薬など）への正の転移が起こるべきだと論じるが、同時に古いアプローチへの執着が逆に足かせになる可能性もある。GoogleがLLMでの後れを取った背景にも、ゲーム志向の研究体質が関係している可能性が指摘されている。AI自身が自己改善するにせよ、人間がAIを指導するにせよ、最適な研究戦略は事後的にしか判明しないという不確実性が残る。