AI が書いたコードを、どう信頼して本番に出すか。 その実践を、xAI の Grok Bot チームの Lauren Tan 氏が講演「All Code Is Slop (Except Mine)」(AI Engineer CODE 2026)で示した。本人は月3,000件、チームは月11,000件の PR を本番に出し、リバート率は約0.5%に落ち着いたという。鍵は「信頼のピラミッド」という1枚の図と、「繰り返すミスは AGENTS.md に警告を足すのではなく、コードで直す」という原則だ。本記事は公式の書き起こしをもとに、その中身を読み解く。

講演「All Code Is Slop (Except Mine)」(出典: Lauren Tan / AI Engineer)

30秒でわかる講演の主張

  • ・誰の話:xAI の Grok Bot チームの Lauren Tan 氏。本人月3,000 PR、チーム月11,000 PR、リバート率約0.5%
  • ・核心:繰り返すミスは、AGENTS.md に警告を足すのではなく、API・lint・テストで直す
  • ・信頼のピラミッド:コードベース → 静的解析 → 検証 → 文章 → 人のレビューの順。上ほど安く、下ほど高い
  • ・自動化の順番:lint → 古い例を掃除 → 検証の手段 → automerge。automerge は最後

AI にコードを書かせて運用する全体像は Claude Code|2026年版・インストールからCLAUDE.md・Hooks・本番運用までの実装手引き に、AI に成果を検証させる仕組みづくりは Claude Code 検証ループ|開発チームの verify skill と「3回で人へ」をフックで試す でも扱っている。

All Code Is Slop の核心:信頼のピラミッド

THE POTETO PYRAMIDLauren Tan の「信頼のピラミッド」。上ほど安く、一度直せば効く

問題は上から順に捕まえる。下に行くほどコストが高い

  1. 1

    コードベース

    良いAPI設計・アーキテクチャ・リファクタ。そもそも間違えられなくする(いちばん安い)

    安い

  2. 2

    静的解析

    lint・型・コンパイラ・テスト・CI。コードが許すミスを機械で捕まえる

  3. 3

    検証

    形式的検証・実行時の確認。意図どおりに動くか、性質が保たれるかを確かめる

  4. 4

    文章

    ルール・スキル・AGENTS.md。読み飛ばされ、次の変更を止められない

  5. 5

    人のレビュー

    最後の砦。最もコストが高い。ここに頼りきらない

    高い

出典: Lauren Tan「All Code Is Slop (Except Mine)」(AI Engineer CODE 2026)。図は the Poteto pyramid(@poteto)

講演の中心は、Tan 氏が「the Poteto pyramid」と呼ぶ1枚の図だ(Poteto は本人のハンドル @poteto)。エージェントのミスを捕まえる場所を、安い順(上)から高い順(下)に5段で並べる。

段 場所 中身
1 コードベース 良い API 設計・アーキテクチャ・リファクタ。そもそもミスを書けなくする
2 静的解析 lint・型・コンパイラ・テスト・CI。コードが許すミスを機械で捕まえる
3 検証 形式的検証・実行時の確認。意図どおりに動くか、性質が保たれるかを確かめる
4 文章 ルール・スキル・AGENTS.md。読み飛ばされ、次の変更を止められない
5 人のレビュー 最後の砦。最もコストが高い

上に行くほど「一度直せば効く」。コードベースや静的解析は、一度 API を変えたり lint を足したりすれば、その後のすべての変更に効く。下に行くほどコストが上がり、人のレビューがいちばん高い。だから、エンジニアの時間は上の段に注ぐべきだ、というのが Tan 氏の主張だ。

題名の「slop(スロップ)」は、AI が吐き出す雑で質の低いコードを指す俗語だ。「All Code Is Slop (Except Mine)(自分のを除いて、どのコードもスロップだ)」という題は、他人のコードを雑だと笑うのは簡単だが、自分の3,000本目の PR はどうか、という問いかけでもある。

Tan 氏は、コードベース自体がエージェントの見る最大の入力の1つだと言う。2024年には同僚が書いた3本の PR をレビューしていたのが、講演の時点では約300本になった。この規模では「庭いじり」のたとえが効く。ワークアラウンドをリポジトリに残すと、次のエージェントがそれを真似る。だから、雑なコードを1本消すより、雑なコードを生みやすい API や前例を上の段で直すほうが、ずっと割に合う。

AGENTS.md に警告を足すのをやめる

FIX IT IN CODEエージェントが繰り返す同じミスを、どこで直すか

AGENTS.md に警告を足すのではなく、コードで直す

効きにくい

文章で止めようとする

  • AGENTS.md に注意書きを足す次の警告が1つ増える
  • コメントで理由を残す古くなり、読み飛ばされ、かえって『正解』に見える

効く

コードベースかチェックに移す

  • APIを変えて表現できなくするそのミスをそもそも書けなくする
  • lintやテストで捕まえる書いた瞬間に、何を直すかを本人に伝える
出典: 同講演。例: useEffect を製品コードで禁止し枠組みのAPIだけ許可/rendererとmainを別の場所に分ける

繰り返し出るレビューのコメントは、2つの直し方を指している、と Tan 氏は言う。API を変えてそのミスを表現できなくするか、チェックを足して、何を直すかを本人(エージェント)に伝えるか、だ。どちらも「コードの側」で直す。AGENTS.md に注意書きを1行足すのは、次の警告が1つ増えるだけで、いちばん効きが弱い。

Grok Bot はコメントの99%を禁止している。 コメントは古くなり、人に読み飛ばされ、よく書けた警告でも次の変更を止められないからだ。代わりに、ガイドは lint の診断に入れる。そうすれば、エージェントは自分のコードがそれに触れた、まさにその瞬間にガイドに出会う。

講演の「タイマー」の例が、文章の弱さをよく示す。エージェントが setTimeout のワークアラウンドを書き、その隣に「このタイマーが正当な理由」を説明するコメントを残す。例が増えるとタイマーが「作法」に見え、次のエージェントも真似る。アプリの規模では、大量のタイマーの生成と破棄が大きなガベージコレクションを呼び、利用者が一瞬の固まりを感じる。コメントが問題を増やした形だ。

コードベースで「書けなくする」:Dune の例

Grok Bot チームが Electron アプリ用に作ったクライアント枠組み Dune には、繰り返すレビューの判断を2つ、枠組みの側に移した例がある。

・React の effect をどこに置けるか:useEffect には正当な使い道もあるが、エージェントは使いどころの判断に繰り返し苦労した。Dune は、枠組みの一部の API では許可し、製品コードでは禁止する。effect が要る挙動は枠組みの作者が実装する
・renderer がどのコードを取り込めるか:別の Electron アプリ(Cursor)では、エージェントが main スレッドのコードを renderer に取り込み、長い処理が UI を固まらせた。Dune は Electron の renderer と main のコードを別の置き場所に分け、取り違えを起きなくする

検証:動くアプリと「機能マップ」をエージェントに渡す

AUTOMATION ORDER自動化したくなったら、この順で土台を作る

lintから始めて、automerge は最後

  1. 01

    lintルールを足す

    同じミスの新規発生を止める

  2. 02

    古い例を掃除する

    次のエージェントが真似する悪い前例を消す

  3. 03

    検証の手段を渡す

    動くアプリ+機能マップ+CLIで、変更の結果を確かめられるようにする

  4. 04

    automerge まで自動化

    内側のループが回ってから。リリースを引き金にクラウドのエージェントを走らせる

    最後

出典: 同講演。検証にはトークンの7割を使う(別のエンジニアの例)。チームは月11,000 PR・リバート率約0.5%

コードのチェックがレビューの多くを担うようになると、今度は「変更が何を生んだか」を見る時間が増える。動画は操作の流れを、スクリーンショットは結果の状態を見せる。だが、動くアプリを渡すだけでは足りない。「左のサイドバーのあれ」と言われたとき、エージェントはどの機能を動かせばいいのか。

そこで 機能マップ(feature map)を使う。アプリの機能を、利用者の視点でサイトマップのように並べたものだ。依頼する人とそれを実行するエージェントの、共通の地図になる。設定画面の例では、エージェントは CLI で動いているアプリの「設定」をクリックし、スナップショットを撮り、proof.png として保存して「確かに動いた」証拠にできる。

録画に映らない性質には、チームは3つの深い検証を試していた。

手法 何を確かめるか
TLA+ による模型検査 通知が複数の端末・プラットフォームにまたがる流れで、必要な性質が成り立つか
Lean による証明 自作の仮想化ライブラリで、ちらつきやガタつきを生みうるアルゴリズムの性質
Bombadil による性質ベースの UI テスト UI を使う中で保たれるべき性質。すでにいくつか UI のバグを見つけた

検証にはトークンの多くを使う。Tan 氏は別のエンジニアの例として、1日のトークンの7割を「パッチの検証」に、2〜3割を「パッチの作成」に使っている、という報告を引く。チェックが通っても「エージェントは利用者が望んだ挙動を理解したか」は残る。Tan 氏は pstack に、利用者視点で状態機械を可視化する statechart のスキルを作り、ある操作がどの状態に至りうるかを、画面の記録と見比べられるようにした。

実践の数字と、automerge までの順番

チーム全体で月11,000 PR を本番に出し、安定版のクライアントを約1日1回リリースした。10月には約227人が1本以上の PR を出した。量が増えるにつれ、リバートされた PR の割合は下がり、約0.5%に落ち着いた。ただし Tan 氏は、これはリバート(差し戻し)を数えた値で、あとの PR で直したバグはこの数に入らない、と注記している。利用者の体感も、立ち上げ・入力・チャットの切り替えが公開当初より速くなった、と報告した。

全部を自動化したくなったチームに、Tan 氏は順番を示す。

  1. エージェントが同じミスを繰り返したら、まず lint ルールで新規の発生を止める
  2. 次に、古い例を掃除する。次のエージェントが真似る悪い前例を消す
  3. エージェントに、結果を検証する手段(動くアプリ・機能マップ・CLI)を渡す
  4. 内側のループが回ってから、automerge まで自動化する

Grok Bot では、リリースを引き金にする。リリースを切ると自動で新しい Cursor のプロジェクトが始まり、新しいビルドを走らせてアプリをファジングする。この並びでいちばん目を引くのは automerge(人の承認なしの自動マージ)だ。それを許せたのは、各修正が通る道をあらかじめ作り込んだからだ、と Tan 氏は言う。製品コードに触る修正は Dune の制約を受け継ぎ、エージェントは変更を動かす道具を持ち、レビュアーはその挙動を確かめられる。

All Code Is Slop を日本語環境の CLAUDE.md にどう効かせるか

Lauren Tan の講演は、「AI にコードを書かせる」よりも「AI のコードを信頼する仕組みを作る」ことに重心を置く。要点は、繰り返すミスを文章(AGENTS.md や CLAUDE.md)で止めようとせず、API・lint・テスト・検証という「コードの側」に移すことだ。CLAUDE.md が長くなりがちなチームには、「この注意書きは、lint か型か API に移せないか」と問い直す指針になる。

ただし、これは月11,000 PR という規模と、xAI という体制での実践だ。小さなチームがそのまま automerge まで真似る話ではなく、ピラミッドの上の段(コードベースと静的解析)から順に、自分の規模に合わせて取り入れるのがよい。検証をエージェント自身に回し、繰り返す指摘を規則やチェックに変える具体例は Claude Code 検証ループ|開発チームの verify skill と「3回で人へ」をフックで試す に、コーディングエージェントを「部下のように管理する」考え方は コーディングエージェントの使い方はマネジメント|Claude Codeで効く習慣とhookの実測 にまとめている。

参照ソース

・All Code Is Slop (Except Mine) — Lauren Tan(AI Engineer・書き起こしと図解)
・講演動画(YouTube)
・Lauren Tan(スピーカー紹介・AI Engineer)