- AI研究者3人が、急速な自己改善（recursive self-improvement）がなぜまだ起きていないのか、技術的なボトルネックは何かを徹底議論する回。
- スケーリング法則の頭打ち、サンプル効率の不足、長期的な判断能力の欠如など、現在のモデルが人間に劣る複数の次元が浮き彫りになる。
- AI研究の自動化が可能になれば加速が起こるが、その時期や実現可能性については研究者間でも3～10年という大きな幅がある見方が示される。
論点をもう少し詳しく読む
スケーリング法則の停滞と「次の不連続性」の問題
現在のトランスフォーマー + 強化学習パラダイムが本当にrecursive self-improvementまで到達できるのか、という根本的な疑問が議論の出発点になっている。ムーアの法則やLLMの事前学習スケーリング則を見ると、ずっと右肩上がりに見えても、その背後には個別の革新的な不連続性が何度も必要だった。現在のRL手法やRL対応の環境だけでは、次の大きな跳躍に必要な不連続性を発見できない可能性があり、そこがボトルネックになりうるという整理。
人間を上回るのに必要な複数の能力ギャップ
単なるサンプル効率の問題だけではなく、短期的な学習では優れているモデルも、中程度の時間軸ではサンプル効率が落ちる領域がある。さらに、思考の多様性、長期的な判断力（いわゆるテイスト）、3D空間認識、新分野への高速適応といった多次元の弱みが存在する。これらは独立した問題であり、いずれか一つを解けば済むものではない、という認識が共有されている。テイストについては、人間はそこまで多くの長期エピソードを経験せずに獲得できるのに対し、AIモデルがそこから効果的にメタラーニングできるかは不明だという議論に発展している。
AI研究者自身の自動化がもたらす加速の幅
AI研究をAIが行えるようになった場合、実験のサイクルが劇的に短縮され、研究の生産性が10倍になる可能性が指摘される。その次に100倍の加速が起こり、さらにその先へと連鎖することで、その後の進展が数年単位で早まる可能性がある。しかし、このシナリオが実現するかどうか、またいつ実現するかについては研究者間でも意見が分かれており、3～4年という楽観的な見方から、より慎重な推定まで幅広い見解が存在する。
全認知労働分野でのAIの優越達成までの時間軸
最終的な問い——3年かけるような複雑な認知作業すべてで人間を上回るAI（実質的にはASI）の出現までどのくらいか——に対しては、回答が3～10年と大きく分かれている。コードと数学が得意なAIにとってAI研究の自動化は相対的に容易だが、機械工学のような物理的・空間的推論が必要な分野、あるいはデータが少なく学習曲線が不明な領域での習得には時間がかかる可能性がある。また、単なるコンテキストウィンドウの拡張ではなく、長期的な学習能力の根本的な進歩が必要という指摘も述べられ、それらが揃う時期が予測の幅に反映されている。