migrate-to-e2e は Playwright・Cypress・Selenium・Detox・Maestro で書いた既存のE2Eテストを、AI E2Eテストのフレームワーク e2e へ1区切りずつ移すためのエージェント用スキルだ。2026-10-14 に tester-army/e2e へ追加された(#1109、翌日に欠陥チェックを追加 #1167)。e2e 本体は WebとモバイルのE2Eテストを「自然言語の目標」と「決定的な検証」の組み合わせで書く TypeScript フレームワークで、開発元は TesterArmy。Apache-2.0、star 11.0k・fork 547(2026-10-17時点)、npm の最新は e2e@0.21.2(2026-10-16公開)。GitHub の Releases は無く、版は npm とタグで追う。

SIDE BY SIDE移し方の違い

旧スイートを動かしたまま、1区切りずつ e2e へ移す

一度に書き換える

旧テストを消して新しく書く

  • 移した後の厳しさを旧テストと比べられない
  • 途中で止まると、どこまで移したかが残らない

migrate-to-e2e

コーディングエージェント用のスキル

  • 1回に1区切り(1〜5本が目安)
  • 旧テストは利用者が確認するまで残す
  • アサーション数を 移行元 → e2e で比べる
  • 状態は MIGRATION.md に書く
出典: tester-army/e2e skills/migrate-to-e2e/SKILL.md(コミット ff3bf391・2026-10-16)

30秒でわかる migrate-to-e2e と e2e(2026-10-17時点)

  • ・正体:既存スイートを e2e へ移す手順を書いた SKILL.md(324行)。npm の e2e には入っておらず、npx skills add かプラグインで入れる
  • ・移し方:1回に1区切り。旧テストは利用者が確認するまで消さず、新旧の両方を流す
  • ・続きから:進捗は MIGRATION.md。通らなかったテストは blocked として何が失敗したかを残す
  • ・実測:Playwright と e2e の収集範囲が重なると、どちらも相手のファイルで収集エラーになった。testDir で分けると1本ずつに分かれた
  • ・e2e 本体:リプレイキャッシュでモデル呼び出しが2回→0回(0.15.2 で実測)
  • ・未検証:エージェントにスキルを実行させた移行、モバイル、実モデルでの精度

エージェント基盤全体の選び方はAIエージェントフレームワーク比較2026|LangGraph・CrewAI・Dify等9種をStar数・実コードで検証にまとめてある。本記事はその枝として、テスト実行に絞った e2e と、その移行スキルを測る。

AI E2Eテストの仕組みと、エージェントとコードの分担

READMEの例はこうなっている。

test('a member upgrades to Pro', async ({ app, agent, screen }) => {
  await app.open('/settings/billing');
  await agent.act('upgrade the workspace to the Pro plan');
  await agent.assert('the invoice preview shows a prorated amount');
  await expect(screen.getByRole('status')).toContainText('Pro');
});

agent.act が「どうやるか」を引き受け、expect が「どうなったら正解か」を固定する。画面のDOM構造が変わっても act の文言は変えなくてよく、合否は人が書いたセレクタで決まる。

この分担は実験中に確かめられた。スタブモデルにわざと違うノードをタップさせると、エージェントステップは成功扱い(✓)で通ったのに、テストは落ちた。

✓ agent upgrades the plan > agent.act "click the Upgrade button..." 3.13s · 2 model calls
× agent upgrades the plan 8.96s
  ASSERTION_FAILED: expect.toContainText failed
  expected: text containing "Pro"
  observed: text "Free" (match count 1)

モデルが自己申告で成功を宣言しても、合否はモデルの外にあるアサーションが決める。agent のメソッドは act・assert・waitFor・extract の4つ。

パッケージは本体とエンジンに分かれ、リポジトリには11個ある(コミット ff3bf391、2026-10-16)。

パッケージ 役割 版
e2e SDK・ランナー・CLI 0.21.2
@e2e-dev/web ブラウザエンジン(Playwright 経由) 0.15.2
@e2e-dev/mobile iOS・Android エンジン(agent-device 経由) 0.12.3
@e2e-dev/github ほか8個 PRコメントのレポーター、ホスト型ブラウザ・シミュレーターの接続 0.0.1〜0.4.2

既存のE2EテストをAI E2Eテストへ移す migrate-to-e2e

migrate-to-e2e は実行ファイルではなく、Claude Code や Codex などのコーディングエージェントが読む手順書だ。npm の e2e には入っておらず、skills CLI で入れる。

npx skills add tester-army/e2e --skill migrate-to-e2e -a claude-code -y

.claude/skills/migrate-to-e2e/SKILL.md(19,226バイト)が入り、リポジトリの skills/migrate-to-e2e/SKILL.md と一致した。Claude Code・Codex 向けのプラグイン(e2e@e2e)にも同じ内容が入っているが、こちらは試していない。

移行元の見分け方と、移す先のエンジン

スキルはまず移行元のランナーを見分け、そのランナー用の移行ガイドとエンジンのページを全文読んでから棚卸しに進む。ガイド5本は npm の e2e に同梱されている(node_modules/e2e/docs/migrate/)。

移行元 スキルが見る手がかり 移す先 ガイドが未対応とする例
Playwright playwright.config.*、@playwright/test web globalSetup・fullyParallel など(missing の行が54)
Cypress cypress.config.*、cypress/ フォルダ web コンポーネントテスト
Selenium selenium-webdriver、pom.xml・build.gradle・requirements.txt の Selenium web switchTo().window()(ポップアップ)
Detox .detoxrc*、package.json の detox mobile device.reloadReactNative() など
Maestro appId: と --- で始まるYAML、.maestro/、maestro test mobile addMedia など(Not yet が10箇所)

WebdriverIO と Appium にはガイドが無い。Selenium・Detox・Maestro のガイドで対応づけ、その対応が部分的だと利用者に伝える決まりになっている。

1回の作業:MIGRATION.md から始めて MIGRATION.md に戻す

ONE SLICE PER SESSION1回の作業

毎回 MIGRATION.md から始め、MIGRATION.md に戻す

進捗表

MIGRATION.md

  1. 表と実物を照合
  2. 区切りを決める利用者が選ぶ
  3. 1本ずつ移す
  4. 3回通す
  5. 両方を流す

人が決める

どの区切りを移すか

任された場合だけエージェントが順を提案

人が決める

旧テストを消すか

確認を得て削除したら retired

出典: migrate-to-e2e SKILL.md の手順1〜8(ff3bf391)。「3回通す」は npx e2e run <file> --repeat-each 3

SKILL.md の手順は9つある。

手順 やること
1 再開か開始 MIGRATION.md があれば読み、表とリポジトリを照合する。移行済みのテストを1回流し、落ちたものを先に直す
2 棚卸し(初回) テスト数は grep ではなくランナー自身の一覧・dry-run で数える。ファイルごとのアサーション数も記録する
3 ハーネス(1回だけ) 設定・アプリの起動・通るテスト1本。CI のジョブを1行ずつ読んで起動手順を移す
4 区切りを選ぶ 1ファイル・1フォルダ・1タグ・1機能領域で、1〜5本が目安。利用者に聞く
5 移す まず1手順ずつ逐語的に移す。agent.act に置き換えるのは逐語訳が通った後、モデルを設定したときだけ
6 証明する npx e2e run <file> --repeat-each 3 で3回中3回。アサーション数は移行元以上。任意で欠陥チェック
7 両方を流す 旧テストは利用者の確認まで残す。CI への追加も同意を得てから
8 進捗表を保つ 最後にまとめてではなく、作業しながら更新する
9 引き渡す 移した本数・通過数・blocked の理由・次の区切りを報告し、どの旧テストを消してよいか聞く

欠陥チェックは、移行元が確かめている最終状態に小さなバグを仕込み(会計の合計を1ずらす、など)、両方のスイートが同じ手順で落ちるかを見る。仕込みは利用者の同意を得てから行い、同じ作業の中で元に戻す。

MIGRATION.md の5つの状態

状態 意味
todo 未着手
ported e2e で通っている。移行元のテストもまだ動いている
retired 利用者が確認し、移行元のテストを削除した
blocked 試したが、まだ通らない。何が失敗したかを書く
stays 意図して旧ランナーに残す。理由を書く

ツイートでは「エージェントやテストが失敗しても続きから再開できる」と紹介されていたが、SKILL.md の書き方はもう少し具体的だ。作業を始める前に Next 欄へ区切りを書き、表は作業しながら更新する。正直に通せないテストはアサーションを弱めて緑にせず blocked として失敗内容を残す。e2e に対応の無い手順を使うテストは stays とし、Gaps 欄に記録する。次の回はこのファイルから始める。どれもエージェントに守らせる指示で、再開を保証する仕組みが別にあるわけではない。

自動では進まないことも多い。区切りの選択、旧テストの削除、CI の変更、欠陥の仕込み、npx e2e feedback での要望送信は、どれも利用者の同意が要る。アプリのコードは変えず、コミットもしない。

手で試した:収集の分離と欠陥チェック

スキルが特に注意しているのが、2つのランナーが互いのファイルを拾うことだ。Playwright のテストも *.e2e.ts と名付けていると、分けられるのはディレクトリだけになる。そこで Playwright 1.64.1 のテスト1本(pw/upgrade.e2e.ts)の横に e2e 0.21.2 を npx e2e init --yes --gateway none --no-install で置き、スキルが勧める2つの一覧を比べた。

npx playwright test --list
npx e2e list
構成 playwright test --list e2e list
Playwright 側が testMatch: '**/*.e2e.ts' だけ e2e のテストまで読み CollectionError、0本、終了コード1 ―
Playwright のテストを tests/ に置いた ― COLLECTION_ERROR、終了コード2
Playwright 側に testDir: './pw' を足した 1本(upgrade.e2e.ts) 1本(tests/upgrade.e2e.ts)

重なるとどちらも収集エラーで止まり、分ければ1本ずつに分かれた。ただし一覧が分かれていることは収集の分離を示すだけで、移したテストが元と同じだけ厳しいとは限らない。そこでアサーション1つを1つに移したテストを --repeat-each 3 で流して3回とも通し、アプリの表示を Pro から Plus に変える欠陥を仕込んだ。Playwright は toHaveText で、e2e は --no-cache で ASSERTION_FAILED expect.toHaveText で落ち、元に戻すと両方通った。

これはスキルの手順を人が再現したもので、エージェントにスキルを実行させた結果ではない(未検証)。なお e2e 0.21.2 は Node.js 22.22.3 以上(24系なら24.8.0以上)を要求し、22.22.0 では起動前に止まった。

init が入れる e2e スキル・MCP との関係

e2e init が入れるのは別の e2e スキル(SKILL.md と references 8本)と MCP サーバーの設定だ。MCP の公開ツールは open_session・tools・call・close_session の4つ(0.15.2 で確認)。migrate-to-e2e はこの e2e スキルと移行ガイドを「読め、書き写すな」と参照する作りで、本体は frontmatter が約128トークン、全文で約4,804トークン(tools/token_audit.py と同じ heuristic 近似)。スキルの書き方はAgent Skillsの書き方側で扱った。

APIキー0本でどこまで動くか

npx e2e init --yes が書き出す雛形テストでは、エージェントステップがコメントアウトされている。

test('app opens', async ({ app, browser }) => {
  await app.open('/');
  await expect(browser.locator('body')).toBeVisible();
});
// With the model key in the environment, uncomment:
// test('the agent drives a flow', async ({ app, agent }) => { ...

README の「Tests without agent steps need no model」が初期状態の設計になっていて、0.15.2 ではこの雛形が鍵0本・949ms で通った。逆にエージェントステップを鍵なしで回すと、エラーコードと直し方が同じ画面に出る。

ERROR  configuration error MODEL_UNAVAILABLE
the agent fixture requires a model, and agents.default has none:
set model on it to an AI SDK model instance, e.g.
agents: { default: { model: gateway('openai/gpt-6-luna-fast') } }

エラーはテストの失敗(ASSERTION_FAILED)、設定の誤り(configuration error)、環境の問題(infrastructure error)に分類され、CI で「落ちた」を一括りにせずに済む。移行スキルが「逐語的な移植ならモデルは要らない」としているのも、この設計による。

再生キャッシュを実測する:2回→0回、そして外れる条件

README の主張は「後のアサーションが検証したエージェントステップは操作を録画し、次の実行ではアプリが変わるまでモデル呼び出しなしで再生する」。これを確かめるため、AI SDK 仕様のスタブモデルを自作して agents.default.model に差し、呼ばれたら必ずログに1行書くようにした。ログファイルが生まれるかどうかで「0回」を確かめられる。

REPLAY CACHE呼び出し回数

同じ act ステップのモデル呼び出しは、何も変えなければ0回

1回目(コールド)ステップ 1.11秒

2回

2回目(無変更)ステップ 0.432秒

0回

3回目(ボタン文言を変更)ステップ 15.45秒

2回

4回目(命令文を1語変更)ステップ 1.21秒

2回
出典: 当サイト実測(e2e 0.15.2・2026-10-02)。回数は自作スタブモデルのログで数えた

無変更の2回目はログファイル自体が作られず、ランナーは 1 replayed と表示した。ボタン文言を Upgrade → Upgrade now に変えると外れ、モデルが呼び直された。ただし外れた3回目は15.45秒で、コールドの1.11秒より遅い。録画の再生を試し、アンカーの検証に失敗してからライブ実行に切り替わるためだ。画面を頻繁に変えている間は、キャッシュがかえって遅くする。命令文を the workspace → the account と1語変えた4回目も外れ、古いエントリを残したまま2件目が書かれた。表記ゆれがそのままエントリ数になる。

cache/identity.ts のコメントによれば、秘密値はキーに入らず(名前と用途だけ)、エンジン版は 1.61.1 を 1.61 に丸める。挙動を変えうる全フィールドをキーに入れるので、古いエントリはミスになり、誤った再生にはならない設計だという。cache/decide.ts は再生できない理由をすべてミスとして扱い、エラーにもステップの失敗にもしない(fail-to-miss)。

無い

ある

不一致

一致

違う

同じ

agent.act 到達

録画あり?

ライブ実行
モデルを呼ぶ

14項目のキーが一致?

開始画面が同じ?

録画を再生
モデル0回

アサーションが検証

検証済みなら録画を保存

モデルに渡るものを覗く:23個の道具と4ノードの意味木

スタブが受け取った options を書き出すと、Webエンジンでモデルに渡る道具は23個だった。

back, check, complete_step, double_tap, drag, hover, hover_at, long_press,
navigate, observe, press, press_at, right_click, screenshot, scroll,
scroll_to, select, select_at, tap, tap_at, type, type_at, upload

tap の入力は { target: string } だけで、ノードid(例 "n42")を1つ指す。モデルはセレクタもコードも書けない。画面はDOMでもスクリーンショットでもなく、操作できる要素の意味木で渡る。

Current screen (revision b2, path /, 4 nodes):
#root document "検証用ページ"
 #n2 heading "AI Heartland 検証用"
 #n3 status "Free"
 #n4 button "Upgrade"
モデルへの入力は4ノードの意味木で #n4 button Upgrade のような形式、語彙は23個の道具でtapやtypeやscrollやnavigateなど、引数はtargetにn4を渡すだけでセレクタもコードも書けない、出口はcomplete_stepでpassedかfailedかblockedを返す
スタブモデルが受け取った options.tools と options.prompt を整理した(e2e 0.15.2)

出口の complete_step は passed / failed / blocked の3値で、errorCode はフレームワーク全体の26語のうち13語だけをモデルに選ばせる。STEP_TIMEOUT や REPLAY_STALE はランナーが決める。スキーマを間違えたスタブは25回で打ち切られた(STEP_NO_CONCLUSION、既定の上限25回)。

AI E2Eテストの導入判断:効く場面と、まだ測れていないところ

効く場面

・画面構造の変更が多く、セレクタの書き直しが負担になっているプロジェクト。手順をエージェントに預け、合否だけ expect で固定できる
・CI のモデル費用が読めないことが障壁になっている場合。録画をコミットすれば、変更がない限りモデル呼び出しは0になる(録画のコミットは opt-in)
・既存のスイートを持っていて、一度に切り替えられない場合。migrate-to-e2e は旧スイートを動かしたまま1区切りずつ移す前提で書かれている

慎重に見るべき点

・README は「1.0 に向けて開発中で、APIと設定はマイナーリリース間で変わりうる」と書いている。0.15.2 から 0.21.2 まで2週間で6回マイナー版が上がった
・キャッシュが外れると通常より遅い(1.11秒 → 15.45秒)。命令文の表記ゆれはエントリ数になる
・Playwright の移行ガイドには missing の行が54あり、stays として旧ランナーに残るテストが出うる

テレメトリは既定ONだが、止め方はREADMEより多い

0.21.2 で環境変数を5通り試した。

設定 e2e telemetry の表示
無設定 Status: enabled
E2E_TELEMETRY_DISABLED=1 Status: disabled (E2E_TELEMETRY_DISABLED is set)
E2E_TELEMETRY_DISABLED=0 Status: enabled
DO_NOT_TRACK=1 Status: disabled (DO_NOT_TRACK is set)
DO_NOT_TRACK=0 Status: enabled

README が挙げる止め方は npx e2e telemetry disable と E2E_TELEMETRY_DISABLED=1 だけだが、DO_NOT_TRACK=1 でも止まる(ドキュメントの telemetry ページには記載がある)。0 と false は「未設定」として扱われる。送信先は https://eu.i.posthog.com(PostHog の EU リージョン)。

本記事で未検証のまま残した部分

  • ・エージェントに migrate-to-e2e を実行させた移行(手順の一部を人が再現しただけ)と、プラグイン経由の導入
  • ・Cypress・Selenium・Detox・Maestro からの移行と、モバイルエンジン(iOS Simulator・Android Emulator)
  • ・実モデルでの精度。キャッシュの仕組みは確かめたが、録画される操作の質はモデルしだい
  • ・ホスト型ブラウザ(Kernel・EAS など)と、e2e explore・e2e login

ブラウザをエージェントに操作させる方向はBrowser Useの系譜にあるが、e2e はテストに絞り、合否判定だけはモデルの外に置く。型つき出力を軸にしたPydantic AIと並べると、「モデルの出力をどこで固定するか」に別のレイヤーから答えているのが分かる。

参照ソース

・tester-army/e2e — GitHubリポジトリ(star 11.0k・fork 547、Releases なし、2026-10-17時点。初出時の 2026-10-02 は star 1,280・fork 41)
・migrate-to-e2e SKILL.md(コミット ff3bf391・2026-10-16 で確認)
・e2e ドキュメント — Migrate an existing suite/From Playwright
・e2e — npm(0.21.2、unpackedSize 4,364,981 B / 636ファイル)
・LICENSE(Apache License 2.0)(2026-09-21 に MIT から変更 #373)

本記事の計測レコードは data/measurements/runs/2026-10-02-e2e-ai-testing-framework.json(初出時)と 2026-10-17-e2e-migrate-skill.json(移行スキルの回)にある。