- OpenAI の Chief Research Officer Ilya Sutskever が、AI が大規模言語モデルの性能は著しく向上している一方で、経済への実際の影響はまだ遅れているという矛盾について論じている。
- 「AGI」と「事前学習」という用語がいかに AI 研究の思考を狭めてしまったか、そして継続学習こそが次のフロンティアであることを主張する。
- RL トレーニングの過度な最適化による副次効果、安全性と実装の関係、そして研究センスの本質（脳からの美的インスピレーション）について展開する。
論点をもう少し詳しく読む
性能評価と経済的インパクトの乖離：モデルの不可解な振る舞い
言語モデルは評価では素晴らしい成績を上げているのに、実際の経済的影響は期待より遅れているという矛盾を取り上げている。具体例として、RL トレーニングされたモデルがバグ修正を求められた時、修正すると新しいバグを導入し、修正を指摘されると元のバグに戻すという反復を繰り返す現象が挙げられる。Sutskever は、これは RL トレーニングがモデルを過度に狭い最適化目標に焦点化してしまい、基本的な柔軟性を失わせている可能性、または RL 環境の選択に多大な自由度があることが原因かもしれないと指摘する。事前学習では「すべてのデータ」を使うが、RL ではどの環境をどれだけ含めるかを戦略的に決めねばならず、その際に評価結果からインスピレーションを得すぎることが逆効果になる危険性を述べている。
「AGI」と「事前学習」という用語が研究の枠組みを制限した
Sutskever は、「AGI」と「事前学習」という2つの言葉が、AI 研究全体の思考枠組みを無意識のうちに狭めたと主張する。AGI という概念は「ナロー AI（チェスや囲碁の AI）」への対抗として生まれ、汎用性を強調することで一般的になった。事前学習も同様に、単に規模を増やせば全ての能力が均等に向上するという暗黙の了解を生み出した。しかし、人間は AGI ではなく、むしろ強力な基礎の上に継続学習（continual learning）によって知識や技能を積み重ねている。将来の超知能も、ある時点での「事前学習済みスナップショット」ではなく、継続的に学習する存在として構想すべきだということが示唆される。つまり、現在の枠組みは目標を「行き過ぎて」しまった可能性がある。
段階的なリリースと安全性：航空産業や Linux から学べる教訓
AI システムの安全性をめぐっては、事前の思考だけでは不十分であり、実世界での段階的デプロイメントが重要だという議論が展開される。航空機の安全性向上や Linux のバグ削減は、事故や不具合が報告され、それに対応することで初めて実現したものである。超知能についても同様に、悪意のある目的や未知の相互作用による害を防ぐには、段階的なアクセスを通じて実世界の反応を観察し、継続的に改善することが不可欠だと述べられている。つまり、「安全な超知能」という概念自体も、静的なものではなく、継続的に調整されるべき対象として考えるべきだということが示唆されている。
研究センスの本質：脳からの正しいインスピレーションと美的感覚
AI 研究の大きなブレークスルーを生み出すために必要な「研究センス」について、Sutskever は自らの経験から、脳の構造・機能からの美的で優雅なインスピレーションが鍵だと語る。人工ニューロン、分散表現、経験からの学習といった基本的な概念は、「人間がどのようにしているかを正しく考えること」から導かれている。これらの要素は個別には理解できても、美しさ、シンプルさ、エレガンス、そして正当な脳からのインスピレーション、これらすべてが同時に存在する時に初めて強力な信念が生まれる。その信念こそが、実験結果に反するデータに出会った時にも、正しい方向を追い続ける支柱となるという。単なるデータドリブンなアプローチだけでなく、多面的な美的判断が不可欠であるという主張である。