テストを先に書く、という習慣が、最近になって妙に手になじまなくなった。実装をAIに任せるようになってから、テストファーストのリズムだけが宙に浮く。書いている最中に、このテストは何のために書いているのだったか、と手が止まる。変わったのはテストの必要性そのものだ、と結論するのは早い。薄れたように感じるのは、TDDという一つの手続きが引き受けていた役割の、その内訳のほうかもしれない。 テスト駆動が一度にやっていた二つのことテスト駆動開発が駆動していたものは、一つではない。一つは設計だ。先にテストを書くと、呼び出し側の都合が先に決まる。インターフェースの形、依存の向き、単位の...

◀前の記事へ 次の記事へ▶︎続きをみる

てすと

Claude CodeでLaravelアプリの認可(Policy)テストを整備していたら、狙って探したわけでもないのに既存コードのバグが発覚しました。今回はその話です。 「役割 × アクション」のマトリクスでテストを書く案件・タスク管理のミニSaaSで、認可の要件はこうなっていました。案件の閲覧・タスク操作はオーナーとメンバーのみ案件の編集・削除・メンバー管理はオーナーのみこれをテストにするとき、正常系(オーナーはできる)だけでなく、拒否される側まで含めて表形式で網羅することにしました。理由は単純で、認可の不具合は「できるべき人ができない」より「できてはいけない人がで...

AI エージェントに Web 制作のコーディングを任せて、品質ゲートを機械で強制する「工場」を 1 人で運用しています。直近 7 日間のゲート実行は 3,364 回。この記事は、その運用で繰り返し遭遇した もっとも危険な失敗モードの話です。先に名前を付けます。「空回りの緑（hollow green）」— 通っているのに、何も検査していないチェックのことです。 この記事が扱わないことClaude Code の Hooks で品質ゲートを作る方法は、すでに良い記事がたくさんあります（Hooks 完全ガイド、Hooks × Skills の実装パターン など）。作り方はそちらを読んで...

はじめに普段、自分のミッションはなにかと聞かれたら、迷わず「品質を守り、上げていくこと」だと答える。機能を増やすことでも、早くリリースすることでも、それ自体が目的だとは思っていない。届けるものの品質を守り、少しずつでも上げていく。それが自分の役割だと、なんとなくずっと思ってきた。そもそもこの「品質を守る」に行き着いたのは、「ユーザーに安心・安全に、スピーディーに価値を届けるために、自分には何ができるか？」を突き詰めた結果だった。もちろん、ユーザーに真の価値を届けるだけなら、他にもやれることはいくらでもある。実際にユーザーの声を聞くとか、徹底的にユーザー目線で考えるとか。そのなか...

起きたこと自作の資産管理アプリで、株式の保有状況を「取引履歴から計算で導出する」仕組みを作っていたときの話だ。ある銘柄を全株売却したはずなのに、画面にはこう表示された。保有口数: 0 株 取得原価: 1 円1 株も持っていないのに、取得原価だけが 1 円残っている。幽霊のような 1 円である。本記事ではこれを勝手に幽霊原価と呼ぶ。バグの原因は「整数の割り算をどの順番でやるか」だった。数学的には同じ式なのに、丸めるタイミングによって結果が変わる —— お金の計算に限らず、整数演算をするすべてのプログラムに関係する話なので、具体例多めで紹介する。 前提 1: 移動平均法...

いやぁ暑いですね！AIに対する熱気と共にLLMを組み込んだ機能を開発することがどんどん増えてきた昨今です。 生成AIアプリの開発において、モデル選定は重要だが、もっと大事なものがあるLLMを組み込んだ生成AIアプリの開発において、どのモデルを使うかは重要ですよね。私はモデル選定に1ヶ月かけたこともあります。しかし、振り返って考えてみると、もっと重要なことがあります。それが評価です！ モデル選定よりも、要件定義の段階で評価項目を決めろとある文書を検索して答えるRAGチャットボットを作ったとき、GPTとClaudeとGeminiを並べて比較スプレッドシートを作り、ベンチマークの...

いやぁ暑いですね！AIに対する熱気と共にLLMを組み込んだ機能を開発することがどんどん増えてきた昨今です。 生成AIアプリの開発において、モデル選定は重要だが、もっと大事なものがあるLLMを組み込んだ生成AIアプリの開発において、どのモデルを使うかは重要ですよね。私はモデル選定に1ヶ月かけたこともあります。しかし、振り返って考えてみると、もっと重要なことがあります。それが評価です！ モデル選定よりも、要件定義の段階で評価項目を決めろとある文書を検索して答えるRAGチャットボットを作ったとき、GPTとClaudeとGeminiを並べて比較スプレッドシートを作り、ベンチマークの...

生成AIの活用が急速に広がる一方で、多くの企業が「AIをどう安全に活用すればよいのか」「AIガイドラインは何から整備すればよいのか」といった課題に直面しています。こうしたテーマについて、2026年7月3日に開催されたソフトウェアテストシンポジウム「JaSST'26 Kansai（Japan Symposium on Software Testing Kansai 2026）」において、ポールトゥウィン QAソリューション事業部 グループマネージャーの山本 愛彦が、「AIガイドライン、何から始めればいいのか ― 国際的なフレームワークを羅針盤にする」と題した講演を行いました。続きをみる

こんにちは、SmartHR 品質保証本部 Directorのtarappoです。 品質保証本部では半期*1に1度「QA Summit」という会を開催しています。 先日、FY26上半期のQA Summitを開催しました。 本記事では、発表内容の詳細については社内情報を含むため紹介できませんが、QA Summitをどういった目的で、どのように開催しているのかを紹介します。 QA Summitとは QA Summitとは、品質保証本部に所属するQAEのメンバー全員が集まって、半期のふりかえりと来期なにをやるかを共有する場です。 リモートワークがメインな働き方をしているなかで、同じ専門性を持つメンバー…

私たちのチームでは、品質管理システム（QMS）SaaS「QMSmart」の開発で、約 100 spec / 140 テストケースの E2E テストを、PR ごとに CI で自動実行し、wall-clock 6〜8 分で完走させる運用が回っています。これはユニットテスト（Vitest）の CI とほぼ同じ所要時間です。本記事では、これを実現するために行った並列実行を前提にした E2E テストの構造設計Playwright workers による並列化GitHub Actions Runner の設定とチューニング（Kong 502 の根治まで）flaky テストを作らないため...

開催日時: 2026/08/20 19:30 ～ 20:50<br />開催場所: オンライン<br /><br /><h2>どうする？AIが作るプロダクトの品質（AI Test Lab vol.4）</h2><p>「人が作った要件に、人が設計・開発し、テストする」<br>従来は当たり前だと思っていたことが、生成AIの登場と活用の広がりとともに大きく変わりつつあります。生成AIにどこまで置き換えられるようになるのか、要件定義や開発の目線では多く語られるテーマですが、本シリーズではテストにフォーカスしてディスカッションを重ねています。<br><br></p><p>今回のテーマは、「どうする？AIが作るプロダクトの品質」<br>AIがコードを書き、テストケースを生成し、開発そのものを加速させることが当たり前になりつつある今、新たな課題が生まれています。AIが作ったプロダクトの品質を、私たちはどのように保証するのか。<br>エンジニアに人...

この2つが混同されるだけで、チームの品質活動はズレていく「テスト計画を作って」と言われて、あなたが作るものは何ですか？テストのスケジュール？ テストケースの一覧？ 担当者の割り当て？ それとも、リスク分析やテスト方針？もし「全部ごちゃまぜにしたドキュメント」を思い浮かべたなら、あなたは多数派です。そして、その混同こそが、チームがテストで迷走する根本原因です。正直に言えば、そもそもテスト計画を作らず、いきなりテスト設計に入る現場のほうが多い。計画書があったとしても、前回のものを流用して日付だけ変えている。そんな景色、見覚えがある方も多いのではないでしょうか。混同された計画でも、無い...

この2つが混同されるだけで、チームの品質活動はズレていく「テスト計画を作って」と言われて、あなたが作るものは何ですか？テストのスケジュール？ テストケースの一覧？ 担当者の割り当て？ それとも、リスク分析やテスト方針？もし「全部ごちゃまぜにしたドキュメント」を思い浮かべたなら、あなたは多数派です。そして、その混同こそが、チームがテストで迷走する根本原因です。正直に言えば、そもそもテスト計画を作らず、いきなりテスト設計に入る現場のほうが多い。計画書があったとしても、前回のものを流用して日付だけ変えている。そんな景色、見覚えがある方も多いのではないでしょうか。混同された計画でも、無い...

AIにQAを任せていた時期、「全機能正常、合格です」と報告されたツールを自分で開いたら、canvasに何も描画されていなかったことがあります。AIが嘘をついたわけではありません。AIが見ていた環境では、本当に「動いているように見えた」のです。多言語Webツール群のQAをAI(Claude + Chrome MCP)に任せる運用の中で、この食い違いの原因は2つに絞れました。 原因1: hidden tabではrequestAnimationFrameが止まるChrome MCP(Claude in Chrome)は通常、hidden tab(非表示タブ)で動作します。そしてブラウ...

AIにQAを任せていた時期、「全機能正常、合格です」と報告されたツールを自分で開いたら、canvasに何も描画されていなかったことがあります。AIが嘘をついたわけではありません。AIが見ていた環境では、本当に「動いているように見えた」のです。多言語Webツール群のQAをAI(Claude + Chrome MCP)に任せる運用の中で、この食い違いの原因は2つに絞れました。 原因1: hidden tabではrequestAnimationFrameが止まるChrome MCP(Claude in Chrome)は通常、hidden tab(非表示タブ)で動作します。そしてブラウ...

!リンクの紹介は目視で確認。文章ドラフトおよび調査において生成AIを利用しています。 TL;DRおよそ3カ月前、私は「従来のQAを捨てる時期が来た」という記事を書いた。そこで言いたかったのは、QAが不要になるという話ではない。人間が手で大量のテストケースを書き、実装完了後に順番に消化し、最後に品質判断を行う働き方を、QAの中心から外した方がよいという話だったと思う。仕事で使用するという名目もあるのだが、説得力を増やすため、あれから3カ月、次の5つのリポジトリを新しく作った。domain-lakda-runnercode-to-gatequality-eviden...

この記事は、CYBOZU SUMMER BLOG FES '26の記事です。 こんにちは！サイボウズでQAエンジニアを担当しているyuuki(@yuuki_cybozuQA)です。 サイボウズ OfficeとメールワイズのQAを担当しながら、2025年9月より新設された「QA外部コネクトチーム」で外部登壇推進や他社エンジニアの皆さまとのつながりを生み出す活動に挑戦しています。 ブログ職人Teamの2つ目の記事を担当させていただきます！ブログはまだ挑戦し始めたばかりなので、「ブログ職人の卵」として書いてみたいと思います。 ブログを書くよりも、登壇が好きだった 私はもとから登壇が好きで、JaSST…

こんにちは！アルダグラムでQAエンジニアをしている千葉です。私たちのQAチームでは、テスト分析からテスト設計までのQAプロセスをClaude Codeのskill（スキル）として整備し、チームで共同運用しています。その中心が、これらのQAプロセスを丸ごと任せられるAIエージェント「qa-orchestrator」です。仕組みと効果は、弊社QAメンバーが記事にしていますのでそちらもご参考ください。https://zenn.dev/aldagram_tech/articles/4aea4b13671ae3今ではqa-orchestratorの存在を前提に、固定制インプロセスQAから...

Java Swingとは、Javaでクロスプラットフォーム対応のグラフィカルユーザーインターフェース（GUI）を作成するための標準的なライブラリです。 Ranorexは、レガシーなWindowsアプリのUIテストを自動化 […]The post Java Swingアプリのテスト自動化 first appeared on テスト自動化ツール 『Ranorex』.

SRE NEXT 2026に参加してきました。 HomeSRE NEXTとは、信頼性に関するプラクティスに深い関心を持つエンジニアのためのコミュニティベースのカンファレンスです。sre-next.dev 続きをみる

1. はじめにどーもりょうさんです。自分はQAエンジニアで、普段のテスト設計に生成AI (Claude) を使っています。生成AIにテスト設計をさせる、というと多くの人は「仕様書を渡してテストケースを書かせる」を思い浮かべます。でも、テストケースを書く前に、本当はもう一つ工程を挟むべきだと考えています。仕様の曖昧なところ・抜けているところ・矛盾しているところを「質問」として洗い出す工程です。ただ、この工程は意図的に挟まないと存在しません。人間なら仕様を読んで引っかかったところが自然に質問になりますが、生成AIは放っておくと質問を出しません。曖昧なところも勝手に一つの解釈で埋め...

こんにちは！エンジニアの新卒採用人事をしているikuraと申します。 「エンジニア＝コードをバリバリ書く人」。そんなイメージを持っている方も多いかもしれません。でもSmartHRには、「コードを書くことだけがエンジニアじゃない」という選択肢があります。開発全体に関わりながら、プロダクトの価値とユーザー体験を支える──それがQAエンジニアという職種です。 そんなQAエンジニアを、SmartHRは2028年卒採用に向けて2026年から募集開始します。今回はその第一歩として、QAエンジニアとして活躍するhigashi173さんと、品質保証本部のDirectorを務めるtarappoさんにインタビュー…

はじめに — QAがひっ迫して、PdMの自分がQAをやることになったこんにちは、TOKIUMでPdMとして働いている冨永です。弊社では1つのQAチームで複数の開発チームのQAを担当しています。そのため、リリースタイミングが被ると、どうしてもQAがひっ迫し、優先順位をつけざるを得ない場合があります。先日もそういった場面がありました。ただ、どうしても早く出したい機能が含まれていたため、要件は一番把握しているし、ということで、PdMの私もQAに参加し、テストケースのチェックをすることになりました。（もちろん私ひとりではありません。QAの方々がメインで、私はできるテストをやります。品質...

はじめに — QAがひっ迫して、PdMの自分がQAをやることになったこんにちは、TOKIUMでPdMとして働いている冨永です。弊社では1つのQAチームで複数の開発チームのQAを担当しています。そのため、リリースタイミングが被ると、どうしてもQAがひっ迫し、優先順位をつけざるを得ない場合があります。先日もそういった場面がありました。ただ、どうしても早く出したい機能が含まれていたため、要件は一番把握しているし、ということで、PdMの私もQAに参加し、テストケースのチェックをすることになりました。（もちろん私ひとりではありません。QAの方々がメインで、私はできるテストをやります。品質...

Formal contracts are essential for software testing and verification, yet writing them remains labor-intensive and error-prone. LLMs offer a promising path toward autoformalization: synthesizing executable assertions from natural-language specifications and thereby bridging the gap between informal developer intent and formal executable specifications. We present Monty: an autoformalization framework for assertions that tackles the challenges of expectations of validity of assertions and ambigui

ソフトウェア開発の現場では今、外部の専門家や支援会社との連携がかつてなく盛んになっている。DXの波が押し寄せ、内製化の機運が高まる一方で、「どこから手をつければよいのか」「誰に相談すればよいのか」という問いを抱える組織は […]

急いでいる人への3行まとめRSpec → Minitest 移行と、あわせて実施した CI チューニング（MySQL tmpfs 化・runner 変更）により、CI の実行時間・費用は半分以下になりました（寄与の内訳は本文で実測を示します）Claude Code の支援により、大規模な書き換えも意思決定可能なタスクになりましたテストを書き換えた結果、テストを書くことに関するナレッジが（意図せず）手に入りました はじめに私が普段関わっているプロダクト（GLOPLA LMS）では、これまで RSpec で自動テストを実行していましたが、実行速度が遅く、CI は 12 s...

はじめまして、クオリティマネージャーのヒロたです。 近年、多くの企業で DX（デジタルトランスフォーメーション） が求められ、システムは単なる業務効率化ツールではなく、ビジネス戦略の中枢を担う存在になっています。その結果...The post ローコードアプリ開発における品質保証 first appeared on Sqripts.

「QA」と名のつくチームに配属されたのに、やっていることはテストと不具合報告……そんな経験はないでしょうか。自分は開発エンジニアから第三者検証会社を経て、現在はビットキーで品質戦略を担当しています。キャリアの中で「QA」を名乗る現場をいくつも見てきましたが、その多くで感じたのは違和感でした。QAと言いながら、やっていることはテストではないか。では「QA」とは本来何なのか。この記事は、2026年5月に開催された勉強会「AI時代に、品質エンジニアとして何者になるか」での登壇内容をベースに書いたものです。 第三者検証時代の違和感第三者検証会社に入り、「QAを行う案件」にアサインされた...

「QA」と名のつくチームに配属されたのに、やっていることはテストと不具合報告……そんな経験はないでしょうか。自分は開発エンジニアから第三者検証会社を経て、現在はビットキーで品質戦略を担当しています。キャリアの中で「QA」を名乗る現場をいくつも見てきましたが、その多くで感じたのは違和感でした。QAと言いながら、やっていることはテストではないか。では「QA」とは本来何なのか。この記事は、2026年5月に開催された勉強会「AI時代に、品質エンジニアとして何者になるか」での登壇内容をベースに書いたものです。 第三者検証時代の違和感第三者検証会社に入り、「QAを行う案件」にアサインされた...

As Code Large Language Models (LLMs) become central to modern software engineering, their inherent stochasticity poses significant real-world risks, where even minor errors can lead to severe functional, security, or safety consequences. Reliable automation, therefore, demands the ability to distinguish between confident, well-supported predictions and stochastic guessing. However, existing uncertainty estimation methods face a critical gap: white and grey-box techniques are often inapplicable t

Software systems have unique testing characteristics. Some projects can emphasize unit tests, while others may focus on end-to-end testing. Test organization may vary across ecosystems: in languages like Python and Java, tests are typically placed in dedicated folders, whereas Go and Rust projects commonly co-locate tests with source code. These distinctions make it harder to understand how a project approaches testing. In this paper, we present TestMiner, a tool for exploring software testing i

結論から「はみ出し要素を探す」でよく共有される Console スニペットは、overflow: hidden の内側と position: fixed の要素まで拾う手元の検証では、真犯人1件に対して誤検知が4件出た除外条件を足せば真犯人だけが残る。そこまで来たら Playwright に載せて CI で落とせるoverflow-x: hidden を body に付けて蓋をするのは、原因を隠しているだけです。原因要素を特定して、二度と混入させないところまで持っていきます。 よく共有されるスニペットの問題横スクロールが出たとき、DevTools の Consol...

!本記事は、dev.toで公開した "Your Fuzzer Is Only as Smart as Its Oracle" の日本語版です。あるDBスキーマ管理ツールで、Claude Codeが生成したマイグレーションを検証したところ、すべてのテストに通りました。最終的なスキーマは目標どおりで、convergenceのチェックにも成功しています。ところが、実行計画を確認すると、次のようになっていました。DROP TABLE;CREATE TABLE;しかも、対象はすでにデータが入っているテーブルです。最終状態が正しくても、そこに至る過程で本番データが失われるのであれば...

Randomised testing is a widely-used approach to software validation, yet its theoretical foundations remain thin. In particular, the fundamental question of what it means for a set of inputs to be \emph{generable} has gone unanswered in both the literature and folklore. We present the first complexity-theoretic foundations for random generators in software testing. We model generators as Turing transducers that consume random bits and produce string-encoded outputs, and show that the theoretical

Laravel歴7年のバックエンドエンジニアが、Claude Codeを実務品質のLaravel開発に組み込むまでを実録ベースで解説。CLAUDE.mdの設計、CRUD・Policy認可・Pestテストの実装を通じて、「AIに任せるものと人間が握るもの」の分担を確立します。マイグレーションの暗黙仕様、認可テストのマトリクス、ミューテーション検証など、実際の開発で起きた事故と発見をそのまま教材にしました。第1章は無料で読めます。

Voice assistants are widely deployed on mobile platforms, yet most are designed as system-level services that remain poorly aligned with application-specific behavior. As a result, enabling voice interaction at the app level requires developers to manually reimplement application logic, leading to high development and maintenance costs. We propose an LLM-driven approach to automating the development of app-specific voice assistants by repurposing GUI test code, which encodes behavior-preserving,

はじめにこんにちは、QAエンジニアのAyakaです。製造業向けSaaS「SmartF」のQAをしています。もともとは組み込みエンジニアで、2024年10月にQAへ転向しました。まだQA2年目です。そんな私が、人生で初めてのエンジニアイベント参加が、いきなり初登壇という無茶をしてきました。場所は Scrum Fest Sendai 20262026年7月10日〜11日・仙台 enspace＋オンラインのハイブリッド開催になります。そもそもの始まりは、このツイートでした。https://x.com/Egachaaan_dev/status/20696197626663200...

この記事は、CYBOZU SUMMER BLOG FES '26の記事です。 はじめに こんにちは！サイボウズでQAエンジニア（以下、QA）をしている ひとみ です！ kintone外システムのkintoneアプリ化（以下、アプリ化）を開発するアプリ化チームに所属しています。 kintone開発チームは担当する機能ごとにチームが分かれており、各チームにはエンジニアリングマネージャー（以下、EM）、プロダクトエンジニア（以下、PdE）、QAが所属しています。 アプリ化チームでは、PdEは開発を担当する機能によって2つのサブチームに分かれており、EMとQAは両方のサブチームと関わっています。日々の…

test.extend とは何かVitest 4.1 で、test.extend に builder pattern が追加されました。その前に、まず test.extend が何をする API なのかを整理します。test.extend は、テスト関数の引数で受け取れる値を自分で追加するための機能です。たとえば、テストごとに使いたい user を用意しておくと、テスト関数で { user } のように受け取れます。import { test as baseTest, expect } from 'vitest'type Fixtures = { user: { ...