AI が書いたコードを、どう信頼して本番に出すか。 その実践を、xAI の Grok Bot チームの Lauren Tan 氏が講演「All Code Is Slop (Except Mine)」(AI Engineer CODE 2026)で示した。本人は月3,000件、チームは月11,000件の PR を本番に出し、リバート率は約0.5%に落ち着いたという。鍵は「信頼のピラミッド」という1枚の図と、「繰り返すミスは AGENTS.md に警告を足すのではなく、コードで直す」という原則だ。本記事は公式の書き起こしをもとに、その中身を読み解く。
30秒でわかる講演の主張
- ・誰の話:xAI の Grok Bot チームの Lauren Tan 氏。本人月3,000 PR、チーム月11,000 PR、リバート率約0.5%
- ・核心:繰り返すミスは、AGENTS.md に警告を足すのではなく、API・lint・テストで直す
- ・信頼のピラミッド:コードベース → 静的解析 → 検証 → 文章 → 人のレビューの順。上ほど安く、下ほど高い
- ・自動化の順番:lint → 古い例を掃除 → 検証の手段 → automerge。automerge は最後
AI にコードを書かせて運用する全体像は Claude Code|2026年版・インストールからCLAUDE.md・Hooks・本番運用までの実装手引き に、AI に成果を検証させる仕組みづくりは Claude Code 検証ループ|開発チームの verify skill と「3回で人へ」をフックで試す でも扱っている。
All Code Is Slop の核心:信頼のピラミッド
THE POTETO PYRAMIDLauren Tan の「信頼のピラミッド」。上ほど安く、一度直せば効く
問題は上から順に捕まえる。下に行くほどコストが高い
-
1
コードベース
良いAPI設計・アーキテクチャ・リファクタ。そもそも間違えられなくする(いちばん安い)
安い
-
2
静的解析
lint・型・コンパイラ・テスト・CI。コードが許すミスを機械で捕まえる
-
3
検証
形式的検証・実行時の確認。意図どおりに動くか、性質が保たれるかを確かめる
-
4
文章
ルール・スキル・AGENTS.md。読み飛ばされ、次の変更を止められない
-
5
人のレビュー
最後の砦。最もコストが高い。ここに頼りきらない
高い
講演の中心は、Tan 氏が「the Poteto pyramid」と呼ぶ1枚の図だ(Poteto は本人のハンドル @poteto)。エージェントのミスを捕まえる場所を、安い順(上)から高い順(下)に5段で並べる。
| 段 | 場所 | 中身 |
|---|---|---|
| 1 | コードベース | 良い API 設計・アーキテクチャ・リファクタ。そもそもミスを書けなくする |
| 2 | 静的解析 | lint・型・コンパイラ・テスト・CI。コードが許すミスを機械で捕まえる |
| 3 | 検証 | 形式的検証・実行時の確認。意図どおりに動くか、性質が保たれるかを確かめる |
| 4 | 文章 | ルール・スキル・AGENTS.md。読み飛ばされ、次の変更を止められない |
| 5 | 人のレビュー | 最後の砦。最もコストが高い |
上に行くほど「一度直せば効く」。コードベースや静的解析は、一度 API を変えたり lint を足したりすれば、その後のすべての変更に効く。下に行くほどコストが上がり、人のレビューがいちばん高い。だから、エンジニアの時間は上の段に注ぐべきだ、というのが Tan 氏の主張だ。
題名の「slop(スロップ)」は、AI が吐き出す雑で質の低いコードを指す俗語だ。「All Code Is Slop (Except Mine)(自分のを除いて、どのコードもスロップだ)」という題は、他人のコードを雑だと笑うのは簡単だが、自分の3,000本目の PR はどうか、という問いかけでもある。
Tan 氏は、コードベース自体がエージェントの見る最大の入力の1つだと言う。2024年には同僚が書いた3本の PR をレビューしていたのが、講演の時点では約300本になった。この規模では「庭いじり」のたとえが効く。ワークアラウンドをリポジトリに残すと、次のエージェントがそれを真似る。だから、雑なコードを1本消すより、雑なコードを生みやすい API や前例を上の段で直すほうが、ずっと割に合う。
AGENTS.md に警告を足すのをやめる
FIX IT IN CODEエージェントが繰り返す同じミスを、どこで直すか
AGENTS.md に警告を足すのではなく、コードで直す
効きにくい
文章で止めようとする
- AGENTS.md に注意書きを足す次の警告が1つ増える
- コメントで理由を残す古くなり、読み飛ばされ、かえって『正解』に見える
効く
コードベースかチェックに移す
- APIを変えて表現できなくするそのミスをそもそも書けなくする
- lintやテストで捕まえる書いた瞬間に、何を直すかを本人に伝える
繰り返し出るレビューのコメントは、2つの直し方を指している、と Tan 氏は言う。API を変えてそのミスを表現できなくするか、チェックを足して、何を直すかを本人(エージェント)に伝えるか、だ。どちらも「コードの側」で直す。AGENTS.md に注意書きを1行足すのは、次の警告が1つ増えるだけで、いちばん効きが弱い。
Grok Bot はコメントの99%を禁止している。 コメントは古くなり、人に読み飛ばされ、よく書けた警告でも次の変更を止められないからだ。代わりに、ガイドは lint の診断に入れる。そうすれば、エージェントは自分のコードがそれに触れた、まさにその瞬間にガイドに出会う。
講演の「タイマー」の例が、文章の弱さをよく示す。エージェントが setTimeout のワークアラウンドを書き、その隣に「このタイマーが正当な理由」を説明するコメントを残す。例が増えるとタイマーが「作法」に見え、次のエージェントも真似る。アプリの規模では、大量のタイマーの生成と破棄が大きなガベージコレクションを呼び、利用者が一瞬の固まりを感じる。コメントが問題を増やした形だ。
コードベースで「書けなくする」:Dune の例
Grok Bot チームが Electron アプリ用に作ったクライアント枠組み Dune には、繰り返すレビューの判断を2つ、枠組みの側に移した例がある。
・React の effect をどこに置けるか:useEffect には正当な使い道もあるが、エージェントは使いどころの判断に繰り返し苦労した。Dune は、枠組みの一部の API では許可し、製品コードでは禁止する。effect が要る挙動は枠組みの作者が実装する
・renderer がどのコードを取り込めるか:別の Electron アプリ(Cursor)では、エージェントが main スレッドのコードを renderer に取り込み、長い処理が UI を固まらせた。Dune は Electron の renderer と main のコードを別の置き場所に分け、取り違えを起きなくする
検証:動くアプリと「機能マップ」をエージェントに渡す
AUTOMATION ORDER自動化したくなったら、この順で土台を作る
lintから始めて、automerge は最後
-
01
lintルールを足す
同じミスの新規発生を止める
-
02
古い例を掃除する
次のエージェントが真似する悪い前例を消す
-
03
検証の手段を渡す
動くアプリ+機能マップ+CLIで、変更の結果を確かめられるようにする
-
04
automerge まで自動化
内側のループが回ってから。リリースを引き金にクラウドのエージェントを走らせる
最後
コードのチェックがレビューの多くを担うようになると、今度は「変更が何を生んだか」を見る時間が増える。動画は操作の流れを、スクリーンショットは結果の状態を見せる。だが、動くアプリを渡すだけでは足りない。「左のサイドバーのあれ」と言われたとき、エージェントはどの機能を動かせばいいのか。
そこで 機能マップ(feature map)を使う。アプリの機能を、利用者の視点でサイトマップのように並べたものだ。依頼する人とそれを実行するエージェントの、共通の地図になる。設定画面の例では、エージェントは CLI で動いているアプリの「設定」をクリックし、スナップショットを撮り、proof.png として保存して「確かに動いた」証拠にできる。
録画に映らない性質には、チームは3つの深い検証を試していた。
| 手法 | 何を確かめるか |
|---|---|
| TLA+ による模型検査 | 通知が複数の端末・プラットフォームにまたがる流れで、必要な性質が成り立つか |
| Lean による証明 | 自作の仮想化ライブラリで、ちらつきやガタつきを生みうるアルゴリズムの性質 |
| Bombadil による性質ベースの UI テスト | UI を使う中で保たれるべき性質。すでにいくつか UI のバグを見つけた |
検証にはトークンの多くを使う。Tan 氏は別のエンジニアの例として、1日のトークンの7割を「パッチの検証」に、2〜3割を「パッチの作成」に使っている、という報告を引く。チェックが通っても「エージェントは利用者が望んだ挙動を理解したか」は残る。Tan 氏は pstack に、利用者視点で状態機械を可視化する statechart のスキルを作り、ある操作がどの状態に至りうるかを、画面の記録と見比べられるようにした。
実践の数字と、automerge までの順番
チーム全体で月11,000 PR を本番に出し、安定版のクライアントを約1日1回リリースした。10月には約227人が1本以上の PR を出した。量が増えるにつれ、リバートされた PR の割合は下がり、約0.5%に落ち着いた。ただし Tan 氏は、これはリバート(差し戻し)を数えた値で、あとの PR で直したバグはこの数に入らない、と注記している。利用者の体感も、立ち上げ・入力・チャットの切り替えが公開当初より速くなった、と報告した。
全部を自動化したくなったチームに、Tan 氏は順番を示す。
- エージェントが同じミスを繰り返したら、まず lint ルールで新規の発生を止める
- 次に、古い例を掃除する。次のエージェントが真似る悪い前例を消す
- エージェントに、結果を検証する手段(動くアプリ・機能マップ・CLI)を渡す
- 内側のループが回ってから、automerge まで自動化する
Grok Bot では、リリースを引き金にする。リリースを切ると自動で新しい Cursor のプロジェクトが始まり、新しいビルドを走らせてアプリをファジングする。この並びでいちばん目を引くのは automerge(人の承認なしの自動マージ)だ。それを許せたのは、各修正が通る道をあらかじめ作り込んだからだ、と Tan 氏は言う。製品コードに触る修正は Dune の制約を受け継ぎ、エージェントは変更を動かす道具を持ち、レビュアーはその挙動を確かめられる。
All Code Is Slop を日本語環境の CLAUDE.md にどう効かせるか
Lauren Tan の講演は、「AI にコードを書かせる」よりも「AI のコードを信頼する仕組みを作る」ことに重心を置く。要点は、繰り返すミスを文章(AGENTS.md や CLAUDE.md)で止めようとせず、API・lint・テスト・検証という「コードの側」に移すことだ。CLAUDE.md が長くなりがちなチームには、「この注意書きは、lint か型か API に移せないか」と問い直す指針になる。
ただし、これは月11,000 PR という規模と、xAI という体制での実践だ。小さなチームがそのまま automerge まで真似る話ではなく、ピラミッドの上の段(コードベースと静的解析)から順に、自分の規模に合わせて取り入れるのがよい。検証をエージェント自身に回し、繰り返す指摘を規則やチェックに変える具体例は Claude Code 検証ループ|開発チームの verify skill と「3回で人へ」をフックで試す に、コーディングエージェントを「部下のように管理する」考え方は コーディングエージェントの使い方はマネジメント|Claude Codeで効く習慣とhookの実測 にまとめている。
参照ソース
・All Code Is Slop (Except Mine) — Lauren Tan(AI Engineer・書き起こしと図解)
・講演動画(YouTube)
・Lauren Tan(スピーカー紹介・AI Engineer)





