はじめにテストピラミッドあるいはテスティングトロフィーの考えに沿って、ドメインロジックの網羅的なテストをユニットテスト (UT) に寄せていくことは、シフトレフトの定番手段として広く支持されています。QA が UT に関与することで、テストの質と早期検出に影響を及ぼせるはずだという期待もよく語られます。しかし、実際に QA が UT のレビューや設計に踏み込むと、構造的な壁にぶつかります。QA は仕様や要求からテストを設計するので、「ドメイン要求が正しくテストされているか」を UT に問う。一方 UT はユニット責務に閉じて保証するので、ドメイン要求は間接的にしか保証できない...

こんにちは！e-dashでQAエンジニアをしている10mo8です。AIによってソフトウェア開発ライフサイクルが速くなったことで、E2Eテスト（本記事では、自動と手動を含めたLargeサイズのテストとします）のテストスコープは広がり、リリースサイクルは短くなる傾向にあります。開発速度は加速し続けますが、テスト能力はそれに追いついていない——このギャップを埋めることが急務です。また、開発スピードに追いつく速さでQA人材を確保することも現実的ではありません。この変化に対応するために「シフトレフトしてE2Eテストの依存度を減らす」「E2Eテストの品質を落とさずにリードタイムを削減する」この2...

0. TL;DR本記事は、BtoBのAIエージェントSaaSを半年ほど本番運用するなかで考えてきた、「AIエージェントの品質管理にどこまで投資するか」の判断ロジックをまとめたものです。要点は下記となります。AIエージェントの品質管理は「不確実性をゼロにする活動」ではなく、受け入れる不確実性を更新し続ける活動重要なのは、やるコストとやらないコストのバランス判断のために使う2つの道具対象を見渡す地図: 品質管理の論点を 4層 × 4軸 = 16観点で整理投資を判断する羅針盤: 各観点を放置リスクと対策効率で見て、投資対象を判断後半では、我々のプロダクトにおける...

はじめに私はAUDERでQAを担当しています。最近は、AIエージェント「Devin」を使って業務の自動化に取り組んでいます。今回書くのは、Devin のプレイブックを動作確認していたときに、こちらの理解不足もあって少しハマった出来事についてです。今回は動作確認中の出来事で、大きな影響はありませんでしたが、実際に触ってみて初めて分かることがいくつかありました。この記事では、そのとき何が起きたのかと、使ってみて気づいた点をまとめます。 やりたかったこと作っていたのは、チャットツールの Slack で !bug_report の後に簡単に概要を入力すると、Devin が Li...

はじめに2026年5月、JSTQB Advanced Level Test Analyst（AL TA）の試験を受験しました。QAエンジニアとしてのキャリアは、自分でもびっくりするくらい長くなりました。そんな私は、JSTQBの存在は以前から知りつつも、学習時間の確保や受験料を考えると、なんとなくスルーしてきました。しかし、2026年3月に、JSTQB Foundation Levelを受験して合格したことをきっかけに、その勢いで、次はその上位資格のAdvanced Level Test Analyst（AL TA）に挑戦してみようと思いました。今回、腰を据えてJSTQB資格...

新しいプロジェクトで品質を上げるときにやること・目指すゴールライン 1. 概要 執筆の意図解決したい課題品質改善を任されたとき・途中参加したプロジェクトで、何を確認しどの順番で動けばよいかわからないという状況この記事のゴール品質改善における自分の考え方と進め方を言語化することで、同じ課題を持つ人の参考になること 要約まず何を確認するか、どの順番で整備するかという思考の型は、プロジェクトが変わっても再現できます。品質改善はフェーズを線形に完了させるものではなく、振り返りを回しながら改善し続けるサイクルです。完璧な品質ではなく運用として安全に回...

React Flow のノード接続を Playwright でテストする はじめに業務で React Flow を使っているアプリのテストを書いていてちょっと詰まったため、その備忘録も兼ねております。 この記事で扱うことReact Flow のノード接続操作を Playwright でテストする方法なぜ dragAndDrop() では動作しないのかdragTo() を使ったシンプルな解決方法 対象読者Playwright の基本的な操作は知っているReact Flow を使ったアプリのテストを書きたい サンプルアプリについて以下の構成のサンプ...

はじめにE2Eテストの要素特定では、よく data-testid やアクセシビリティラベルが使われます。正しく運用できれば、とても安定した方法だと思います。実際、アクセシビリティラベルを丁寧に整備して、Playwright の getByRole / getByLabel で安定運用しているチームもあります。ただ、自分の経験では、すべての現場でそれができるわけではありません。既存プロダクトが大きく、テスト用属性を後から付けるのが重いフロントエンドチームに依頼しても、優先度が上がりにくいコンポーネントの再利用やネストで、命名規則の運用が難しいリファクタリング後に、IDや...

はじめにQAエンジニアの仕事は「テストケースを手で起こし、手で回し、結果を Excel に貼る」だった時代から、ここ1〜2年で大きく形を変えつつあります。Playwright のような自動化基盤、Claude Code のようなAIエージェント、そして MCP（Model Context Protocol）を通じてブラウザを操作するAI──これらが揃ったことで、テストは「人が書いて回すもの」から「AIに生成・実行させ、人が解釈・判断するもの」へシフトしてきました。本記事は、弊社で実際に運用している Claude スキル群（spec / generate-page-spec / g...

Attention Driven Test というアイデアの話最近「テストケースって、コードの複雑さからは結構議論されてるけど、ユーザーの認知負荷からはあんまり議論されてなくない？」って思って、ぼんやり考えていたことを書き出しておく。呼び方を Attention Driven Test (ADT) と勝手に名付けた。実装の話というよりは、テスト設計の方法論として育てたいアイデアのメモ。 出発点: 既存のテスト戦略はだいたいコード側を見ているリスクベーステスト、変更頻度ベース、Cyclomatic Complexity、ミューテーションテスト、PR複雑度スコアリング (これは...

最近、テスト設計をAIに頼むこともだいぶ増えてきました。ただ、最初の頃にやってみて気づいたんですけど、なんとなく「このシステムのテストケース出して」と頼むだけだと、返ってくるのはハッピーパス中心の、なんとも当たり障りのない一覧なんですよね。それが「JSTQB準拠で、同値分割と境界値分析を使って」と一言添えるだけで、ぐっと網羅性が立ち上がる。境界の漏れが減って、デシジョンテーブルでお願いすれば条件の組み合わせが整理された形で返ってくる。状態遷移ならそれっぽく状態とイベントを分けて出してくれる。最初は「やっぱりAIって賢いんだな〜」と素直に感心していたんです。でも最近、ちょっと違う気...

はじめにAIを使ってテスト設計を進めることが、かなり現実的になってきました。仕様やコード差分をもとにテスト観点を出してもらう。テストケースのたたきを作ってもらう。不足している異常系や境界値を洗い出してもらう。場合によっては、そのままテストコードまで生成してもらう。ここまでできるようになると、テスト設計にかかる初速はかなり上がります。一方で、実際に運用してみると、別の感覚も出てきます。それは、AIにテスト設計を任せても、最後に品質を決めるのはやはり人間のレビューだ、ということです。AIはそれっぽい観点をたくさん出してくれます。でも、その中に本当に重要な観点が含まれて...

はじめにテストの話になると、よく出てくるのが「テストカバレッジ」という言葉です。カバレッジはどのくらいですか80%を目標にしましょうカバレッジが低いので不安ですとりあえずカバレッジを上げたいですこうした会話は、開発現場でかなりよくあります。一方で、実際には「カバレッジという言葉は知っているけれど、何を表しているのかをちゃんと説明するのは少し難しい」という人も多いのではないかと思います。さらにややこしいのは、カバレッジは数字として見やすい反面、その数値だけで品質を判断すると危ないということです。特にAI駆動開発では、この問題がより目立ちやすくなっています。AIを...

はじめにAIを使って実装することが、かなり当たり前になってきました。画面実装、API実装、リファクタリング、テストコードの追加まで、以前よりずっと速く進められるようになっています。少し前ならそれなりに時間がかかっていた作業も、AIを使えば短時間である程度形になります。一方で、AI駆動開発には別の難しさもあります。それは、実装スピードが上がることと、品質を安定して守れることは別だということです。AIはコードを書いてくれます。テストコードもそれっぽく作ってくれます。ただ、こちらが観点を渡さない限り、どうしても正常系中心の薄いテストになりやすいです。ぱっと見では十分そうに見えて...

はじめに今回取り上げたいのはQAメンバーとの観点共有についてです。新機能をどんな観点でテストするか、テストデータや環境をどう揃えるか、探索的テストで見つかった観点をどう活かすか。こうした問いは開発チームとQAチームが言葉を交わす中で答えが立ち上がってくるものです。本記事ではその観点共有が、私の現場ではどこで起きていたかを振り返って書きます。結論を先に書くと、観点共有の主要な場は会議や打ち合わせではなくSlackでのやりとりでした。それも一方向の通知ではなく、何度も言葉を交わす往復の中で観点が彫り上がっていく形で。想定読者はQAメンバーと一緒に開発しているエンジニア、特に「観点共有...

はじめにこんにちは。ビジネス映像メディア「PIVOT」で、QAエンジニア兼PMをしている ケイスケ です。PIVOTのモバイルアプリ（iOS / Android）では、以前はノーコード型のSaaS自動テストツールを使ってE2Eテストを運用していました。しかし2025年後半、そのツールから Maestro というオープンソースのE2Eテストフレームワークに全面移行しました。この記事では、なぜ移行を決めたのか、ローカル実行のツールの中でなぜMaestroを選んだのか、そして移行してみてどうだったかを紹介します。!Maestroでの具体的なテスト基盤の構築方法（メール認証の自動化...

最近、Zenn で AI を使った E2E テスト自動化に関する記事をいくつか読みました。Playwright の Test Agents の進化を整理した記事、生成 AI で E2E テストを自動化しようとして理想と現実のギャップに苦しんだ体験談——どれも非常にリアルで、自分も同じ壁にぶつかってきたので深く共感しました。読みながらずっと頭にあったのが、「コスト」と「確定性」という2つの軸です。今日はこのフレームワークで AI × E2E テストの現状を整理してみたいと思います。 どのアプローチも、コストと確定性のどちらかを犠牲にしているE2E テスト自動化のアプローチを振り返る...

Anthropic社のARR（年間経常収益）が14か月で10億ドルから190億ドルへこの急速な変化は、すでに想定されており、数年後のプロダクトの価値は飛躍的にあがることを想定なので、あまり細かいことに力を注ぐべきではなく、方向性を確認できる点に集中していたみたい。自分も前から言っているが、AI基盤や基盤エージェントを使う側の開発者も変化が速いことは相当考えておかないと、やっても意味ない、低いことになる。最近、今の基本スキルとしてモデリングだとのスピーチを拝聴した時も、最適化の最適化とくにターゲットを未来に置くことが重要な意図でコメントさせてもらいました。 Corpus2S...

はじめに最近、Zenn でも「Claude Code で E2E テストを自動修復」「Playwright MCP でテストを楽に書く」といった記事をよく見かけます。実際に試した方も多いのではないでしょうか。私も試しました。結論から言うと、AI にテストを「書かせる」のは簡単だが、AI に テストを「維持させる」のは危険だと感じています。この記事では、AI テスト自動化に期待しすぎて痛い目を見た経験を共有します。 AI テストの2つのパターン現在の AI テスト自動化には大きく分けて2つのアプローチがあります。パターン A：AI がテストコードを生成するClaude...

TL;DRAI に E2E の auto-heal を任せていると、ナレッジ側の腐敗が事故の引き金になる解は「GitHub Issue で失敗を起票 → AI が triage → 週次 cron で .github/instructions/ に昇格」のループを回すことMarkdown PR で直接更新する運用は、起票コスト・非エンジニア参加・昇格基準暗黙化の3つの壁で止まる。Issue ベースに変えるとここが抜けるtriage も昇格も GitHub Models（gpt-4o-mini、無料）と Claude Code Action の二段構えにすると現実的試作: ...