migrate-to-e2e は Playwright・Cypress・Selenium・Detox・Maestro で書いた既存のE2Eテストを、AI E2Eテストのフレームワーク e2e へ1区切りずつ移すためのエージェント用スキルだ。2026-10-14 に tester-army/e2e へ追加された(#1109、翌日に欠陥チェックを追加 #1167)。e2e 本体は WebとモバイルのE2Eテストを「自然言語の目標」と「決定的な検証」の組み合わせで書く TypeScript フレームワークで、開発元は TesterArmy。Apache-2.0、star 11.0k・fork 547(2026-10-17時点)、npm の最新は e2e@0.21.2(2026-10-16公開)。GitHub の Releases は無く、版は npm とタグで追う。
SIDE BY SIDE移し方の違い
旧スイートを動かしたまま、1区切りずつ e2e へ移す
一度に書き換える
旧テストを消して新しく書く
- 移した後の厳しさを旧テストと比べられない
- 途中で止まると、どこまで移したかが残らない
migrate-to-e2e
コーディングエージェント用のスキル
- 1回に1区切り(1〜5本が目安)
- 旧テストは利用者が確認するまで残す
- アサーション数を 移行元 → e2e で比べる
- 状態は MIGRATION.md に書く
30秒でわかる migrate-to-e2e と e2e(2026-10-17時点)
- ・正体:既存スイートを e2e へ移す手順を書いた SKILL.md(324行)。npm の e2e には入っておらず、
npx skills addかプラグインで入れる - ・移し方:1回に1区切り。旧テストは利用者が確認するまで消さず、新旧の両方を流す
- ・続きから:進捗は MIGRATION.md。通らなかったテストは
blockedとして何が失敗したかを残す - ・実測:Playwright と e2e の収集範囲が重なると、どちらも相手のファイルで収集エラーになった。
testDirで分けると1本ずつに分かれた - ・e2e 本体:リプレイキャッシュでモデル呼び出しが2回→0回(0.15.2 で実測)
- ・未検証:エージェントにスキルを実行させた移行、モバイル、実モデルでの精度
エージェント基盤全体の選び方はAIエージェントフレームワーク比較2026|LangGraph・CrewAI・Dify等9種をStar数・実コードで検証にまとめてある。本記事はその枝として、テスト実行に絞った e2e と、その移行スキルを測る。
AI E2Eテストの仕組みと、エージェントとコードの分担
READMEの例はこうなっている。
test('a member upgrades to Pro', async ({ app, agent, screen }) => {
await app.open('/settings/billing');
await agent.act('upgrade the workspace to the Pro plan');
await agent.assert('the invoice preview shows a prorated amount');
await expect(screen.getByRole('status')).toContainText('Pro');
});
agent.act が「どうやるか」を引き受け、expect が「どうなったら正解か」を固定する。画面のDOM構造が変わっても act の文言は変えなくてよく、合否は人が書いたセレクタで決まる。
この分担は実験中に確かめられた。スタブモデルにわざと違うノードをタップさせると、エージェントステップは成功扱い(✓)で通ったのに、テストは落ちた。
✓ agent upgrades the plan > agent.act "click the Upgrade button..." 3.13s · 2 model calls
× agent upgrades the plan 8.96s
ASSERTION_FAILED: expect.toContainText failed
expected: text containing "Pro"
observed: text "Free" (match count 1)
モデルが自己申告で成功を宣言しても、合否はモデルの外にあるアサーションが決める。agent のメソッドは act・assert・waitFor・extract の4つ。
パッケージは本体とエンジンに分かれ、リポジトリには11個ある(コミット ff3bf391、2026-10-16)。
| パッケージ | 役割 | 版 |
|---|---|---|
e2e |
SDK・ランナー・CLI | 0.21.2 |
@e2e-dev/web |
ブラウザエンジン(Playwright 経由) | 0.15.2 |
@e2e-dev/mobile |
iOS・Android エンジン(agent-device 経由) |
0.12.3 |
@e2e-dev/github ほか8個 |
PRコメントのレポーター、ホスト型ブラウザ・シミュレーターの接続 | 0.0.1〜0.4.2 |
既存のE2EテストをAI E2Eテストへ移す migrate-to-e2e
migrate-to-e2e は実行ファイルではなく、Claude Code や Codex などのコーディングエージェントが読む手順書だ。npm の e2e には入っておらず、skills CLI で入れる。
npx skills add tester-army/e2e --skill migrate-to-e2e -a claude-code -y
.claude/skills/migrate-to-e2e/SKILL.md(19,226バイト)が入り、リポジトリの skills/migrate-to-e2e/SKILL.md と一致した。Claude Code・Codex 向けのプラグイン(e2e@e2e)にも同じ内容が入っているが、こちらは試していない。
移行元の見分け方と、移す先のエンジン
スキルはまず移行元のランナーを見分け、そのランナー用の移行ガイドとエンジンのページを全文読んでから棚卸しに進む。ガイド5本は npm の e2e に同梱されている(node_modules/e2e/docs/migrate/)。
| 移行元 | スキルが見る手がかり | 移す先 | ガイドが未対応とする例 |
|---|---|---|---|
| Playwright | playwright.config.*、@playwright/test |
web | globalSetup・fullyParallel など(missing の行が54) |
| Cypress | cypress.config.*、cypress/ フォルダ |
web | コンポーネントテスト |
| Selenium | selenium-webdriver、pom.xml・build.gradle・requirements.txt の Selenium |
web | switchTo().window()(ポップアップ) |
| Detox | .detoxrc*、package.json の detox |
mobile | device.reloadReactNative() など |
| Maestro | appId: と --- で始まるYAML、.maestro/、maestro test |
mobile | addMedia など(Not yet が10箇所) |
WebdriverIO と Appium にはガイドが無い。Selenium・Detox・Maestro のガイドで対応づけ、その対応が部分的だと利用者に伝える決まりになっている。
1回の作業:MIGRATION.md から始めて MIGRATION.md に戻す
ONE SLICE PER SESSION1回の作業
毎回 MIGRATION.md から始め、MIGRATION.md に戻す
進捗表
MIGRATION.md
- 表と実物を照合
- 区切りを決める利用者が選ぶ
- 1本ずつ移す
- 3回通す
- 両方を流す
人が決める
どの区切りを移すか
任された場合だけエージェントが順を提案
人が決める
旧テストを消すか
確認を得て削除したら retired
SKILL.md の手順は9つある。
| 手順 | やること |
|---|---|
| 1 再開か開始 | MIGRATION.md があれば読み、表とリポジトリを照合する。移行済みのテストを1回流し、落ちたものを先に直す |
| 2 棚卸し(初回) | テスト数は grep ではなくランナー自身の一覧・dry-run で数える。ファイルごとのアサーション数も記録する |
| 3 ハーネス(1回だけ) | 設定・アプリの起動・通るテスト1本。CI のジョブを1行ずつ読んで起動手順を移す |
| 4 区切りを選ぶ | 1ファイル・1フォルダ・1タグ・1機能領域で、1〜5本が目安。利用者に聞く |
| 5 移す | まず1手順ずつ逐語的に移す。agent.act に置き換えるのは逐語訳が通った後、モデルを設定したときだけ |
| 6 証明する | npx e2e run <file> --repeat-each 3 で3回中3回。アサーション数は移行元以上。任意で欠陥チェック |
| 7 両方を流す | 旧テストは利用者の確認まで残す。CI への追加も同意を得てから |
| 8 進捗表を保つ | 最後にまとめてではなく、作業しながら更新する |
| 9 引き渡す | 移した本数・通過数・blocked の理由・次の区切りを報告し、どの旧テストを消してよいか聞く |
欠陥チェックは、移行元が確かめている最終状態に小さなバグを仕込み(会計の合計を1ずらす、など)、両方のスイートが同じ手順で落ちるかを見る。仕込みは利用者の同意を得てから行い、同じ作業の中で元に戻す。
MIGRATION.md の5つの状態
| 状態 | 意味 |
|---|---|
todo |
未着手 |
ported |
e2e で通っている。移行元のテストもまだ動いている |
retired |
利用者が確認し、移行元のテストを削除した |
blocked |
試したが、まだ通らない。何が失敗したかを書く |
stays |
意図して旧ランナーに残す。理由を書く |
ツイートでは「エージェントやテストが失敗しても続きから再開できる」と紹介されていたが、SKILL.md の書き方はもう少し具体的だ。作業を始める前に Next 欄へ区切りを書き、表は作業しながら更新する。正直に通せないテストはアサーションを弱めて緑にせず blocked として失敗内容を残す。e2e に対応の無い手順を使うテストは stays とし、Gaps 欄に記録する。次の回はこのファイルから始める。どれもエージェントに守らせる指示で、再開を保証する仕組みが別にあるわけではない。
自動では進まないことも多い。区切りの選択、旧テストの削除、CI の変更、欠陥の仕込み、npx e2e feedback での要望送信は、どれも利用者の同意が要る。アプリのコードは変えず、コミットもしない。
手で試した:収集の分離と欠陥チェック
スキルが特に注意しているのが、2つのランナーが互いのファイルを拾うことだ。Playwright のテストも *.e2e.ts と名付けていると、分けられるのはディレクトリだけになる。そこで Playwright 1.64.1 のテスト1本(pw/upgrade.e2e.ts)の横に e2e 0.21.2 を npx e2e init --yes --gateway none --no-install で置き、スキルが勧める2つの一覧を比べた。
npx playwright test --list
npx e2e list
| 構成 | playwright test --list |
e2e list |
|---|---|---|
Playwright 側が testMatch: '**/*.e2e.ts' だけ |
e2e のテストまで読み CollectionError、0本、終了コード1 | ― |
Playwright のテストを tests/ に置いた |
― | COLLECTION_ERROR、終了コード2 |
Playwright 側に testDir: './pw' を足した |
1本(upgrade.e2e.ts) |
1本(tests/upgrade.e2e.ts) |
重なるとどちらも収集エラーで止まり、分ければ1本ずつに分かれた。ただし一覧が分かれていることは収集の分離を示すだけで、移したテストが元と同じだけ厳しいとは限らない。そこでアサーション1つを1つに移したテストを --repeat-each 3 で流して3回とも通し、アプリの表示を Pro から Plus に変える欠陥を仕込んだ。Playwright は toHaveText で、e2e は --no-cache で ASSERTION_FAILED expect.toHaveText で落ち、元に戻すと両方通った。
これはスキルの手順を人が再現したもので、エージェントにスキルを実行させた結果ではない(未検証)。なお e2e 0.21.2 は Node.js 22.22.3 以上(24系なら24.8.0以上)を要求し、22.22.0 では起動前に止まった。
init が入れる e2e スキル・MCP との関係
e2e init が入れるのは別の e2e スキル(SKILL.md と references 8本)と MCP サーバーの設定だ。MCP の公開ツールは open_session・tools・call・close_session の4つ(0.15.2 で確認)。migrate-to-e2e はこの e2e スキルと移行ガイドを「読め、書き写すな」と参照する作りで、本体は frontmatter が約128トークン、全文で約4,804トークン(tools/token_audit.py と同じ heuristic 近似)。スキルの書き方はAgent Skillsの書き方側で扱った。
APIキー0本でどこまで動くか
npx e2e init --yes が書き出す雛形テストでは、エージェントステップがコメントアウトされている。
test('app opens', async ({ app, browser }) => {
await app.open('/');
await expect(browser.locator('body')).toBeVisible();
});
// With the model key in the environment, uncomment:
// test('the agent drives a flow', async ({ app, agent }) => { ...
README の「Tests without agent steps need no model」が初期状態の設計になっていて、0.15.2 ではこの雛形が鍵0本・949ms で通った。逆にエージェントステップを鍵なしで回すと、エラーコードと直し方が同じ画面に出る。
ERROR configuration error MODEL_UNAVAILABLE
the agent fixture requires a model, and agents.default has none:
set model on it to an AI SDK model instance, e.g.
agents: { default: { model: gateway('openai/gpt-6-luna-fast') } }
エラーはテストの失敗(ASSERTION_FAILED)、設定の誤り(configuration error)、環境の問題(infrastructure error)に分類され、CI で「落ちた」を一括りにせずに済む。移行スキルが「逐語的な移植ならモデルは要らない」としているのも、この設計による。
再生キャッシュを実測する:2回→0回、そして外れる条件
README の主張は「後のアサーションが検証したエージェントステップは操作を録画し、次の実行ではアプリが変わるまでモデル呼び出しなしで再生する」。これを確かめるため、AI SDK 仕様のスタブモデルを自作して agents.default.model に差し、呼ばれたら必ずログに1行書くようにした。ログファイルが生まれるかどうかで「0回」を確かめられる。
REPLAY CACHE呼び出し回数
同じ act ステップのモデル呼び出しは、何も変えなければ0回
無変更の2回目はログファイル自体が作られず、ランナーは 1 replayed と表示した。ボタン文言を Upgrade → Upgrade now に変えると外れ、モデルが呼び直された。ただし外れた3回目は15.45秒で、コールドの1.11秒より遅い。録画の再生を試し、アンカーの検証に失敗してからライブ実行に切り替わるためだ。画面を頻繁に変えている間は、キャッシュがかえって遅くする。命令文を the workspace → the account と1語変えた4回目も外れ、古いエントリを残したまま2件目が書かれた。表記ゆれがそのままエントリ数になる。
cache/identity.ts のコメントによれば、秘密値はキーに入らず(名前と用途だけ)、エンジン版は 1.61.1 を 1.61 に丸める。挙動を変えうる全フィールドをキーに入れるので、古いエントリはミスになり、誤った再生にはならない設計だという。cache/decide.ts は再生できない理由をすべてミスとして扱い、エラーにもステップの失敗にもしない(fail-to-miss)。
モデルに渡るものを覗く:23個の道具と4ノードの意味木
スタブが受け取った options を書き出すと、Webエンジンでモデルに渡る道具は23個だった。
back, check, complete_step, double_tap, drag, hover, hover_at, long_press,
navigate, observe, press, press_at, right_click, screenshot, scroll,
scroll_to, select, select_at, tap, tap_at, type, type_at, upload
tap の入力は { target: string } だけで、ノードid(例 "n42")を1つ指す。モデルはセレクタもコードも書けない。画面はDOMでもスクリーンショットでもなく、操作できる要素の意味木で渡る。
Current screen (revision b2, path /, 4 nodes):
#root document "検証用ページ"
#n2 heading "AI Heartland 検証用"
#n3 status "Free"
#n4 button "Upgrade"
options.tools と options.prompt を整理した(e2e 0.15.2)出口の complete_step は passed / failed / blocked の3値で、errorCode はフレームワーク全体の26語のうち13語だけをモデルに選ばせる。STEP_TIMEOUT や REPLAY_STALE はランナーが決める。スキーマを間違えたスタブは25回で打ち切られた(STEP_NO_CONCLUSION、既定の上限25回)。
AI E2Eテストの導入判断:効く場面と、まだ測れていないところ
効く場面
・画面構造の変更が多く、セレクタの書き直しが負担になっているプロジェクト。手順をエージェントに預け、合否だけ expect で固定できる
・CI のモデル費用が読めないことが障壁になっている場合。録画をコミットすれば、変更がない限りモデル呼び出しは0になる(録画のコミットは opt-in)
・既存のスイートを持っていて、一度に切り替えられない場合。migrate-to-e2e は旧スイートを動かしたまま1区切りずつ移す前提で書かれている
慎重に見るべき点
・README は「1.0 に向けて開発中で、APIと設定はマイナーリリース間で変わりうる」と書いている。0.15.2 から 0.21.2 まで2週間で6回マイナー版が上がった
・キャッシュが外れると通常より遅い(1.11秒 → 15.45秒)。命令文の表記ゆれはエントリ数になる
・Playwright の移行ガイドには missing の行が54あり、stays として旧ランナーに残るテストが出うる
テレメトリは既定ONだが、止め方はREADMEより多い
0.21.2 で環境変数を5通り試した。
| 設定 | e2e telemetry の表示 |
|---|---|
| 無設定 | Status: enabled |
E2E_TELEMETRY_DISABLED=1 |
Status: disabled (E2E_TELEMETRY_DISABLED is set) |
E2E_TELEMETRY_DISABLED=0 |
Status: enabled |
DO_NOT_TRACK=1 |
Status: disabled (DO_NOT_TRACK is set) |
DO_NOT_TRACK=0 |
Status: enabled |
README が挙げる止め方は npx e2e telemetry disable と E2E_TELEMETRY_DISABLED=1 だけだが、DO_NOT_TRACK=1 でも止まる(ドキュメントの telemetry ページには記載がある)。0 と false は「未設定」として扱われる。送信先は https://eu.i.posthog.com(PostHog の EU リージョン)。
本記事で未検証のまま残した部分
- ・エージェントに migrate-to-e2e を実行させた移行(手順の一部を人が再現しただけ)と、プラグイン経由の導入
- ・Cypress・Selenium・Detox・Maestro からの移行と、モバイルエンジン(iOS Simulator・Android Emulator)
- ・実モデルでの精度。キャッシュの仕組みは確かめたが、録画される操作の質はモデルしだい
- ・ホスト型ブラウザ(Kernel・EAS など)と、
e2e explore・e2e login
ブラウザをエージェントに操作させる方向はBrowser Useの系譜にあるが、e2e はテストに絞り、合否判定だけはモデルの外に置く。型つき出力を軸にしたPydantic AIと並べると、「モデルの出力をどこで固定するか」に別のレイヤーから答えているのが分かる。
参照ソース
・tester-army/e2e — GitHubリポジトリ(star 11.0k・fork 547、Releases なし、2026-10-17時点。初出時の 2026-10-02 は star 1,280・fork 41)
・migrate-to-e2e SKILL.md(コミット ff3bf391・2026-10-16 で確認)
・e2e ドキュメント — Migrate an existing suite/From Playwright
・e2e — npm(0.21.2、unpackedSize 4,364,981 B / 636ファイル)
・LICENSE(Apache License 2.0)(2026-09-21 に MIT から変更 #373)
本記事の計測レコードは data/measurements/runs/2026-10-02-e2e-ai-testing-framework.json(初出時)と 2026-10-17-e2e-migrate-skill.json(移行スキルの回)にある。





