◀前の記事へ 次の記事へ▶︎続きをみる

カバレッジ 100% なのに、本当に安心していい？AIを使ってコード生成して、テストカバレッジを上げたとしてもそのテストコードがほんとに正しいといえますか？。極端な話、こんなテストでもカバレッジは 100% になります。def test_calc(): calc(10, 5) # 戻り値をアサートしていないcalc は実行されたのでカバレッジ上は緑。でも何も検証していないので、calc がどんなバグを持っていても気づけません。カバレッジは「テストの量」は測れても「テストの質」は測れないわけです。ここで効いてくるのが**ミューテーションテスト（mutation tes...

pytest が真っ赤になったとき、出力のどこから読んでいますか。スタックトレースの上から眺めて、なんとなく当たりをつけて——という読み方だと、失敗が複数あるときに迷子になります。pytest は失敗の理由を差分（assertion introspection）として丁寧に出してくれます。この記事では、その差分を機械的に読む順番と、原因を確定させる最小再現の作り方、そして Claude Code に「原因の切り分けだけ」を頼むプロンプトを、実行コマンドと期待出力つきで実演します。!対象読者と前提pytest でテストを書いた / 動かしたことがあるエンジニアPython の基...

導入実務でテスト設計をしていると、単体テスト結合テストE2Eテストのように粒度によって用語を使い分けます。しかしこれらの境目はプロジェクトによって異なるため、現場の肌間隔によって分類していることが多くおります。本記事ではエントロピーを導入し、この分類に定量...

個人事業主としてQAエンジニアをやっております、マンタスです。2026年6月から、MagicPodがブラウザテストエンジンとしてPlaywrightを公式サポートするようになりました🎉参考：MagicPodのプレスリリースこれまではSeleniumのみでしか実行できなかったため、実行速度が気になるテストが不安定になることがあるCIの待ち時間が長いといった理由から、MagicPodの導入を見送っていた方も一定数いるのではないでしょうか。私も実行速度を改善したいと日々悩んでいたため、参画しているプロジェクトでも早速Playwrightへ切り替えてみました。今回は実際に切...

はじめにソフトウェア開発を始めると、新しい言葉がたくさん出てきます。!要求分析設計実装単体テスト結合テストシステムテスト最初は「何が何だか分からない」と思う人も多いでしょう。でも、私が新人に最初に伝えたいことは、突き詰めればたった一つです。何かを作ったら、必ず確認する。そして、これを正しく実践するために、もう一つだけ対になる考え方を覚えてほしいと思っています。「作る」と「確認する」は別の仕事である。この記事は、この二つの考え方の話です。 ソフトウェア開発は「作る」の繰り返しソフトウェア開発は難しそうに見えますが、やっていることは意外と...

2026年現在、AIエージェントにユニットテストコードを書かせることについての所感。 3行まとめAIにユニットテストを書かせると負債になるテストを書きがちユニットテストを書くべき対象の判断は難しいClaude Opus 4.8、GPT-5.5 はまだ自然にその判断ができるほど賢くない ユニットテストの有効性はアプリケーションの性質に依存するユニットテストコードの有効性は、アプリケーションの性質と設計によって大きく変わる。例えば、APIのように入力と出力が明確なアプリケーションでは、ユニットテストは有効に働きやすい。リクエストに対して期待するレスポンスが明確で検証が...

現在、台風の接近に伴い、各地で気象や交通機関への影響が見込まれています。6月27日(土)・28日(日)に予定しております「WACATE 2026 夏」につきましても、参加者の皆さまの安全を最優先に、最新の気象・交通情報を続きを読む投稿 WACATE 2026 夏 参加者の皆さまへ は WACATE に最初に表示されました。

はじめに生成AIを使うと、テスト項目書の作成はかなり楽になります。仕様書や画面キャプチャを読み込ませるだけで、テスト項目のたたき台が短時間で出力されます。内容も単なる箇条書きではなく、大項目・中項目・小項目に分類され、前提条件、操作手順、期待結果、参照元まで整理される...

はじめにタイトルの通りです。2026年06月にコドモンを退職します。続きをみる

aaaaaa

現在、フロンティアAIに該当するAnthropic社のClaude Mythos（クロード・ミュトス）は一般公開されていませんが、このモデルの活用により大量の脆弱性が発見されているため、脆弱性対応のセキュリティパッチの増 […]The post フロンティアAIで発見された脆弱性への攻撃対策！セキュリティパッチ適用後の無影響確認テストを自動化する手法を解説 first appeared on テスト自動化ツール 『Ranorex』.

業務システムのリリース前リグレッションテストを、Playwright（ブラウザ自動操作ツール）で自動化した個人的な取り組みの記録です。ポイントは 「Playwrightも自動テストも未経験の状態から、生成AI（Claude）と日本語で対話しながら作った」 こと。※特定の社名・システム名・業務内容は伏せ、一般化して書いています。 概要申請業務系のWebアプリで、毎週のリリース前に手動リグレッションテストをしていた1つの申請が複数の役割（申請者 → 中間承認 → 最終承認）を渡り歩く承認フローで、組み合わせが多く手間だったPlaywrightで ログイン〜申請〜各役割で...

この本のざっくり要約Kent Beck 著・和田卓人訳『テスト駆動開発』は、テストを先に書き、最小限の実装でそれを通し、リファクタリングするという「Red-Green-Refactor」サイクルを、実際にコードを動かしながら体得させる実践書だ。説明ではなく手を動かすことで、TDD という習慣そのものを染み込ませることを目的としている。 第一部: 多国通貨の実例架空の金融ドメインを題材に、Dollar と Franc の加減算を段階的に実装していく。最初は動くかどうかすら怪しいほど小さなステップを踏む。この「小さく切る」という判断こそが TDD の核心であることを、コードを追...

LLM-based code agents navigate repositories through keyword search but miss the structural relationships, such as call graphs, inheritance hierarchies, and configuration dependencies, that define how software actually works. This makes agent navigation stochastic and difficult to reproduce across runs. We investigate whether lightweight static analysis can provide deterministic anchors for these agents: stable structural facts injected as plain-text comments that constrain probabilistic explorat

LLM-based agents for program repair are increasingly built on a "generate-run-revise" paradigm, iteratively executing tests to evaluate and refine patches. This execution-based approach has become standard practice in state-of-the-art systems. However, executions can be time-consuming and expensive, yet their impact on these agents remains underexplored. In this paper, we conduct a two-stage empirical study over execution behavior in LLM-based program repair. To characterize execution behavior a

はじめにこれまでの記事では、品質保証、レビュー、プロセス、良い思考、思考訓練、そして良い思考を組織の活動にすることについて考えてきました。本記事は、以下の連載の12本目にあたります。QAは品質を保証しているのか？〜品質保証プロセスが根付かない理由を考える〜レビュ...

はじめに市場不具合が出たとき、振り返り（ポストモーテム）はしていますか？弊社では、一定の市場不具合に対してポストモーテムを実施しています。原因を深掘りして再発防止策を立てれば、その不具合への対応としては一区切りです。ただ、ふと思いました。個々の不具合は振り返っているのに、不具合の全体像を見る場はないな、と。1件1件のポストモーテムは「点」の振り返りです。でも、点を集めて「線」や「面」で見たら、個別の振り返りでは見えない傾向が見えるんじゃないか？そう思って、QAチームで1年分の市場不具合の収集・分析・レポーティングをやってみました。この記事では、その過程でやったことと、得られ...

はじめに正直なところ、テストコードを書く時間がもったいない、と思ったことはないでしょうか。機能は動いている、納期は迫っている、それでもテストを書くべきだと言われる。本記事では「テストを書きましょう」という話はしません。代わりに、テストがないコードで実際に何が起きるかを、ある小さな修正を起点に時系列で追いかけます。読み終わる頃には、テストがないことの本当のコストがどこにあるのか、その構造が見えているはずです。!サンプルコードはPHP 8.0以降を想定しています。 第1章: ある日の小さな修正依頼題材は送料計算です。いまの仕様は「合計5,000円以上は送料無料、未満は8...

E2Eテストにおいて、テストデータの準備はおまけではありません。どんなデータが揃っていればその振る舞いを検証できるのか、というのはテスト設計そのものだし、きちんと管理すべき対象です。ややこしくなるのは、そのデータ準備のコードが、振る舞いを検証するコードと同じspecファイルに同居しているときです。ユニークな名前を生成して、APIでプロジェクトやらマスタやらを用意して、テスト後に afterEach で消す。この準備と後始末が、「何を検証するか」という本題と一つのファイルに混ざる。読むときに性質の違う2つが一度に目に入ってきて、specの見通しが悪くなるんですよね。ひっかかるのはデータ...

「テストが緑でも間違っている」をエンジニア向けに。なぜ緑をすり抜けるのか、どんな形で潜むのか、どう検証で落とすか——実務に落とします。 なぜ緑をすり抜けるのか：誤差が相関するテストは「実装が仕様どおりか」を検証しますが、そのオラクル（期待値）も人やAIが書く。実装側の誤差とオラクル側の誤差が独立なら、突き合わせたとき食い違って気づけます。問題は、コードとテストを同じAI・同じ文脈で生成したとき。仕様の読み違い・命名・暗黙の前提がそのまま共有され、両者の誤差が同じ方向に相関します。相関した誤差は突き合わせても打ち消し合わず、一致して「正しく見える」。ここではこれを便宜上「相関誤差」...

クラシル社でAndroidエンジニアをしているkenzoです。アプリの開発において、コードを書く作業はかなりの部分をAIに任せられるようになりました。それでも、UIを作ったり変更したりしたときは、たとえテストが通っていたとしても見た目や動き、手触りが、自分たちのプロダクトとして良いものになっているか、自分の手で触って確かめておきたいですよね。しかし、開発環境のAPIが必ず確認するUIの表示に必要なデータを返してくれるとは限りません。欲しいパターンのデータがそもそも存在しない用意したデータも、期限切れで消えてしまう複数のエンドポイントに依存した画面の状態を再現しにくい安定して...

バイブコーディングによって、アプリ開発のハードルは一気に下がりました。プロンプトを投げる。画面ができる。ボタンが動く。データが保存される。それっぽいアプリが形になる。すごい時代です。しかし動くものを作れることと、エンジニアとして扱えることは別です。エンジニアの仕事は「動いた」と喜ぶことではありません。作ったものが、期待した条件で、期待した通りに、壊れずに動くかを確かめること。つまり必要なのはテストです。ただ、この「テスト」という言葉は少し誤解されやすい。ソフトウェア開発におけるテストは、学校の試験のように誰かを採点するものとは違います。もっと近い言い方をするなら...

バイブコーディングによって、アプリ開発のハードルは一気に下がりました。プロンプトを投げる。画面ができる。ボタンが動く。データが保存される。それっぽいアプリが形になる。すごい時代です。しかし動くものを作れることと、エンジニアとして扱えることは別です。エンジニアの仕事は「動いた」と喜ぶことではありません。作ったものが、期待した条件で、期待した通りに、壊れずに動くかを確かめること。つまり必要なのはテストです。ただ、この「テスト」という言葉は少し誤解されやすい。ソフトウェア開発におけるテストは、学校の試験のように誰かを採点するものとは違います。もっと近い言い方をするなら...

第1回では、AI時代に求められる思考力とは何かを問い直しながら、「抽象化」と「アナロジー」という武器の正体を解き明かしました。 分類学をアナロジーに、クジラとカバが実は親戚であるという驚きとともに、具体から本質を抜き出す...The post 【第2回】分類学とアブストラクト（抽象化）〜「思考の武器」をテスト・QAの現場に活かす〜 first appeared on Sqripts.

テスト記事これはZenn自動投稿のdry-runテストです。 テストセクション項目1: zenn-cliで生成項目2: GitHubにpush項目3: Zennに自動反映本文が正しく入力されるかの確認用です。

結論E2Eテストを楽にしたくてWebwrightを触っていたら、テストの枠を超えた“気づき”に行き当たりました。Webエージェントの精度は、「AIに何をさせるか」が重要なファクターのようです。Webエージェントは画面を見て「次にどこを押すか」を予測する座標予測より、操作をコードとして書いて実行し、結果をAI自身に検証させるほうが圧倒的に強い。それを見事に体感させてくれたのが Webwright というターミナルネイティブWebエージェント。公式も "Code-as-action beats coordinate prediction"（コードをアクションにするやり方は、座標...

エージェントに実装を任せると、diff が出る速度は上がる。けれど出てくるのは「動きそうなコード」であって、仕様どおりのソフトウェアとは限らない。Layer2-Architec SPEC Compiling Pipeline (L2A-SCP) が狙う最大のユースケースは、この差を埋めることだ。人間が SPEC を書く。L2A-SCP はその SPEC が成果物へ変換可能かを判定し、可能なら UC・設計・テスト・実装・配送契約へ段階的に展開し、SPEC に忠実な成果物へコンパイルする。これは「AI にいい感じに実装させる」話ではない。SPEC をソースコードのように扱い、そこから成果物...

はじめに こんにちは、ヤプリでQAをしている今西(@TKNW_Hitsuji)です。 最近は業務中、人間よりもAIと会話している時間の方が長いんじゃないかと思うほど、AIと向き合って作業をする割合が多くなってきています。時代の急激な変化を肌で感じる毎日です。 さて、この記事を読んでいるということは「E2Eテストの自動化を進めたいけれど、コードを書けるリソースが足りない」「特定のメンバーにメンテナンスの負担が集中して属人化してしまう」。そんな悩みを抱えているのではないでしょうか？ 今回はその課題に向き合うべく、E2E自動テストの "作成"そのものをAIエージェント（Claude Code）に任せ…

[特定非営利活動法人ソフトウェアテスト技術振興協会][画像1: https://prtimes.jp/i/54604/55/resize/d54604-55-3853f3fcdb2d9f798dab-0.png ]JSTQB(ソフトウェアテスト技術者資格認定組織)は、ASTERの資格認定事業として運営しているJSTQBの公式Webサイトを、2026...

こんにちは。MagicPodエバンジェリストのYoshiki Ito / 伊藤由貴です。普段ユーザーさんや導入を検討中の方とさまざまな話をする機会も多いのですが、テスト自動化の推進がうまくいくかどうかを左右する重要なポイントに（改めて）気づきました。それは、ツールおよびそれに関連するプラクティスを組織に定着させるには、普及推進活動と、それを担う主体が必要だということです。そしてこの「技術を普及・推進する活動」の考え方は、特定のツール導入に限らず、開発組織をよくしていく過程で広く応用できる知見でもあります。私自身、以前はテスト会社でテスト自動化技術を普及させる組織を立ち上げ、社内のエンジニアのべ約200人に技術研修を行うなどの推進活動をしていた経験があります。その経験も含めて、本記事では技術推進の現場でぶつかる「壁」と、その乗り越え方をお伝えしたいと思います。

はじめに個人開発で Expo Router + TypeScript のアプリを書いていて、ある時から「コアロジックくらいはテストで守りたいな」と思うようになりました。それまでは実機でちまちまさわって確認していたのですが、壊れたら困る部分くらいは機械的に検出できるようにしようと考えました。そこでテスト基盤を入れようとしたのですが、最初の一歩でいきなり詰まりました。公式ドキュメントを見つつ、React Native + Jest のネット記事に載っていた transformIgnorePatterns の設定もあわせて書き写してセットアップしたところ、自分のテストコードにたどり着く...

テスト設計チュートリアルに参加して、大事だと思ったことの振り返りと感想

どうも、AIエンジニアの@noprogllamaです。AI（人工知能, Artificial Intelligence）Agent Skillは、AIエージェントに渡す再利用用の手順書です。たとえば、毎晩「今日見る記事を選んで、残タスクも見て、明日に回すものを決めて」とAIに頼むとします。毎回それを口で説明するのは面倒なので、先に手順書としてまとめておく。これがSkillです。手順書は、直すと良くなることがあります。でも、直したつもりで別の場所が壊れることもあります。あるあるですよね。そこで今回は、AI用の問題集を作りました。やったことは、以下の通り。AIに渡す問題を作...

理想のQAは、ずっと「虚構」だった品質保証(QA)と品質管理(QC)の教科書には、昔から「理想形」が書かれていた。全コードの網羅的レビュー、全モジュールへの高密度なレビュー・解析・テスト基準、常に最新で完全なトレーサビリティ、独立した多重検証。だが、それはほぼ常に 実現できなかった。理由は一つ、コストだ。人間の検査は時間も費用も高い。だから現場は妥協してきた——サンプリング、リスクベースの優先順位づけ、「許容できるカバレッジ」、監査の直前に再構築されるトレーサビリティ。つまり私たちが「QA」と呼んで実践してきたものは、理想そのものではなく、理想を労働予算に射影した近似 だった。...

理想のQAは、ずっと「虚構」だった品質保証(QA)と品質管理(QC)の教科書には、昔から「理想形」が書かれていた。全コードの網羅的レビュー、全モジュールへの高密度なレビュー・解析・テスト基準、常に最新で完全なトレーサビリティ、独立した多重検証。だが、それはほぼ常に 実現できなかった。理由は一つ、コストだ。人間の検査は時間も費用も高い。だから現場は妥協してきた——サンプリング、リスクベースの優先順位づけ、「許容できるカバレッジ」、監査の直前に再構築されるトレーサビリティ。つまり私たちが「QA」と呼んで実践してきたものは、理想そのものではなく、理想を労働予算に射影した近似 だった。...

こんにちは、QAエンジニアのAyakaです。製造業向けSaaS（Blazor＋Radzen / SQL Server で開発）のテスト設計・品質管理を担当しつつ、最近はコーポレートIT寄りの仕事も兼務しています。テストケースをAIに「書かせる」こと自体は、もう誰でもできます。難しいのは、毎回同じ観点で、同じ品質で書かせることでした。テストケースを作る作業は、わりと早い段階からAIに手伝ってもらっていました。課題（PBI）の説明を渡して「テストケースを出して」と頼めば、それらしいものは返ってきます。最初のうちはそれで足りていました。ただ、しばらく使っていると、AIで作れてはいるの...

こんにちは、QAエンジニアのAyakaです。製造業向けSaaS（Blazor＋Radzen / SQL Server で開発）のテスト設計・品質管理を担当しつつ、最近はコーポレートIT寄りの仕事も兼務しています。テストケースをAIに「書かせる」こと自体は、もう誰でもできます。難しいのは、毎回同じ観点で、同じ品質で書かせることでした。テストケースを作る作業は、わりと早い段階からAIに手伝ってもらっていました。課題（PBI）の説明を渡して「テストケースを出して」と頼めば、それらしいものは返ってきます。最初のうちはそれで足りていました。ただ、しばらく使っていると、AIで作れてはいるの...

こんにちは、スタディストで QA エンジニアをしている髙津（@mototakatsu）です。先日、スタートアップで働く QA エンジニアのためのコミュニティ「QA engineer at a Startup」（通称 QaaS）のオンラインイベントで、「エンジニアと一緒にテストコードの設計と実装を改善した話」というテーマで登壇しました。この記事では、登壇内容を再現できる形で整理します。QA としてエンジニアのテストコード改善にどう関わったのかを、発表を聴いていない方にも持ち帰っていただけるようにまとめました。QA は、意識していないと「依頼を待つ存在」になりがちです。開発チームとの...

こんにちは、スタディストで QA エンジニアをしている髙津（@mototakatsu）です。先日、スタートアップで働く QA エンジニアのためのコミュニティ「QA engineer at a Startup」（通称 QaaS）のオンラインイベントで、「エンジニアと一緒にテストコードの設計と実装を改善した話」というテーマで登壇しました。この記事では、登壇内容を再現できる形で整理します。QA としてエンジニアのテストコード改善にどう関わったのかを、発表を聴いていない方にも持ち帰っていただけるようにまとめました。QA は、意識していないと「依頼を待つ存在」になりがちです。開発チームとの...

はじめに「このクラス、ユニットテスト書いといて」と言われて、書こうとして、手が止まった経験はないでしょうか。エラーが出るわけではない、文法もわかる、それでもどうテストすればよいかわからない。結論から書くと、それはテストを書く側の力量の問題ではなく、テスト対象のクラスの作りの問題であることがほとんどです。本記事では「テストが書けないコード」を出発点に、その原因と直し方を順に見ていきます。直し方の正体は、newをひとつ外に出す、それだけです。!サンプルコードはPHP 8.0以降を想定しています(コンストラクタプロパティプロモーション、match式を使用します)。 第1章:...

前回の振り返り前回の記事では、エージェントが本番環境でひっそりと機能不全に陥る、そんな悲劇的なシナリオを物理的に回避する術をご紹介しました。前回の v0.2 記事では、具体的な4つの「黙って壊れる」場面と、それらを防ぐための実践的なパターンを実験的に示しました。では、その対策が本当に機能しているのか、どうやって確認すれば良いのでしょうか？今回は、そのパターンが満たされているかを100点満点で採点する CLI を実装しました。正直なところ、このCLIを開発した我々自身、まさか最初にその洗礼を受けるとは思いませんでしたが、最初に落ちたのがその CLI 自身だったのです。今回は、その衝...