- 現在、主要なAIラボが注力している研究は「強化学習で数百万の検証可能なタスクを学ばせることでAGIが実現する」という仮説だ。だが、その実現には環境設定や梯度更新の効率性など、深刻な障壁が存在する。
- 重要な洞察は、AIが真の意味で汎用的になるには、訓練前のRL環境での学習だけでなく、実世界で展開された後も継続的に学び、重みを更新する能力が必要だということ。
- テスト時間訓練（ドリーミング）やコンテキスト長の拡大により、AIが週単位で実務に従事しながら自己改善できる未来が描かれる。その際、データ効率とパラメータ圧縮のトレードオフが中核的な課題になる。
論点をもう少し詳しく読む
RL訓練スケーリングによるAGI実現仮説と、その根底にある前提
すべての大手ラボが下注している大きな研究賭博は、数千の異なるRL環境で数百万の検証可能なタスクをこなすようにAIを訓練すれば、それが本質的にAGIになるという考え方だ。この仮説の背景には、LLMで十分な計算を投じれば自然言語処理の基本的な研究問題が一掃されたのと同様に、現在のパラダイムの欠陥（データ非効率性や継続学習の欠如）もスケーリングによってねじ伏せられるという楽観主義がある。だが訓練は一度限りのコストであり、実際に重要なのは実運用中のサンプル効率である点が見落とされやすい。
コンピュータ操作の進捗が他領域より遅い理由：環境の再現性問題
興味深い問題として、なぜコンピュータ操作の進捗がコーディングなど他の領域よりも遅いのかが検討される。コンピュータ操作は検証可能だが、訓練に必要な「並列ロールアウト」が実現困難だからだ。コーディング訓練では、同一の環境を複製して千個の並列エージェントを走らせられるが、Amazon等の実在サービスではボット検出で禁止される。本来的には模造環境を大規模に構築する必要があるが、それは非常に労力がかかり拡張性に欠ける。この物理的・法的な制約がAIの進捗を制限する隠れた要因として指摘されている。
継続学習の実装：パラメータ更新と情報圧縮のジレンマ
現在、既に経済全体に展開されているAIは膨大なドメイン固有の暗黙知を持ちながら、それを活用できないでいる。理由は継続学習がパラメータの更新を必要とするためだ。勾配更新は非常にサンプル非効率であり、成功した例（Cursorのオンライン学習）は数百万ユーザーにとって同じ目的を学ぶケースに限定されている。人間は観測を全て保持するのではなく、直感や大局的知識を重みに「彫り込む」ことで圧縮し、汎化を助長する。AIも同様の圧縮メカニズムが必要だが、パラメータ更新に切り替えた途端、文脈内学習の効率性は失われるジレンマがある。
テスト時間訓練（ドリーミング）と複数スケーリング軸の融合
未来のアプローチとして、モデルがテスト時に自ら環境を構築し、それを相手に強化学習するという「ドリーミング」が提案される。AlphaZeroの推論時シミュレーションと同様に、実世界データを節約しながら無限の訓練ができる軸だ。訓練は週単位で展開後、ユーザーの評判に基づき蒸留され、隣接ドメインへの汎化が加速する。この仕組みが機能すれば、事前訓練・強化学習・推論時計算に次ぐ第四のスケーリング軸となり、AIの自己改善が経済全体での実務経験から駆動される新しい段階へ移行する。