- Anthropic初代テックPMのDianne Pennが、Claude 2からFableまで全モデルの立ち上げに関わった経験を語る回。
- 「Evals は新しいPRD」という考え方で、ユーザーフィードバックを検証可能な評価セットに転換し、プロダクト開発を加速させてきた。
- AI時代のPMには、プロンプトのように細部まで掘り下げる姿勢、そして2028年を想定してトークン効率を極限まで追求する発想が必要だという示唆。
論点をもう少し詳しく読む
2023年の小さなチームから現在まで、Claudeがコーディングで急速に進化した理由
Pennが2023年にJoinした当初、Anthropicは5人の製品エンジニアと1人のAPI担当者のみで、業界ではOpenAIに圧倒的に遅れていると見られていた。しかし彼女が気づいたのは、ユーザーがClaude をコード補完ではなく長文コード生成に使い始めたことで、その延長線上でOpus 3.5やClaude Codeが生まれ、1.5年足らずでOpus 4.5が登場するほどの進化を遂げた。モデルと製品体験（Claude Code）が相互に強化し合う関係が重要だったことが強調される。
「Evals は新しいPRD」：ユーザーフィードバックを検証可能なテストに変える方法論
Pennの重要な発明は、ユーザーの曖昧なフィードバック（「Claude は指示に従うのが下手」）を、実際の再現可能な例に変換し、それを評価セットに標準化するアプローチ。当初のフィードバックを掘り下げると、80%が実は「JSON形式をうまく書けない」という具体的な問題だったという例を挙げ、30～40の反例を集めてテスト化することで、PM主導の「テスト駆動開発」が成立する仕組みを作った。これにより客観的な改善測定が可能になり、evals はPRDの代替ではなく補完手段として機能している。
「2028年に住む」ことの意味：現在のトークン効率が未来の標準になる
Pennは「年間10万ドルをトークンに費やしている人は、2028年の生き方を今すでに実践している」という強調をしている。これはAIモデルが指数関数的に進化する中で、今のうちからトークン効率を徹底的に追求することが、近未来の標準的な利用方法を先取りすることになるという考え。ユーザーが現在のモデルでトークンを「汗をかくように」使い尽くす過程で、より良いアイデアや使い方が自然に発見され、それがフィードバックループになる。つまり、積極的な実験と効率化の追求が、プロダクト開発に直結するということ。
JP Morganでの高利回り債取引経験が形づくった、PMとしての哲学と行動様式
Pennは高利回り債トレーダーとして4年間、$100million超のポートフォリオを運用した経歴を持つ。当時は男性中心の取引フロアで唯一の女性で、背景も異なる立場にいながら、『最高のアイデアとそれへの確信が最も重要』という学習を得た。その経験から、現在のAnthropicでも「チームメンバーの階級や経歴を問わず、優れたアイデアが出れば全力でサポートする」という姿勢につながり、自分自身も脆弱性と真正性を示すことで、チーム全体が勇気を持ってアイデアを追求できる環境を作っている。トレーディングで培った「信念を持つこと、実行すること、細部まで掘り下げる」という粘強さが、プロダクト開発にも応用されている。