業務で、AI に文章を書かせている。書き上がった文章は別の AI に渡して、「ルールを守れているか」を見せている。この記事では前者を書き手役、後者を判定役と呼ぶ。私の仕事は、判定役の判定が当たっているかを確かめることだ。その確認を、人が読まずに機械で答え合わせできる形に設計した。実測はまだなので、ここに書くのは設計と、根拠にした論文の数字だけになる。 コードには CI があったコードを書いていたころは、変更するたびにテストが自動で走った (CI と呼ばれる仕組み)。壊れた場所は行番号まで出て、直すまで先へ進めない。安全網があった。いまは、書く時間の半分がプロンプトを書く時間にな...

ビジュアルリグレッションテストとはいきなりですが、ビジュアルリグレッションテスト (Visual Regression Testing, VRT) とはなんでしょうか?いろいろな定義があるかと思いますが、この記事では「アプリの見た目をスクショで保存しておき、プログラムの変更前後でそのスクショを比較、見た目が壊れていないかを検知するテスト」と定義することにします。そしてここで言う "アプリ" とは Web アプリケーションのことを指し、特に Blazor アプリを対象にしたビジュアルリグレッションテストを想定して話を進めていきます。 ビジュアルリグレッションテストの重要性...

バックテストツールには、外から見えにくい問題があります。画面に結果が出ても、その計算が前提どおりかは、ユーザーには確かめにくいことです。「売買条件が出た日の翌営業日の始値（その日に最初についた価格）で売買が成立したものとして計算する」「手数料・税引き後」と前提をいくら丁寧に書いても、その前提どおりに実装が動いている保証にはなりません。落とし穴を説明できることと、前提どおりに計算できていることは別の話です。この記事では、日本株のバックテストツール Zephris の計算エンジンを、個人開発でどう検証しているかを書きます。中心になるのは、金額や株数の正解を手で計算してテストに書き込み、円...

◀前の記事へ 次の記事へ▶︎続きをみる

RSpec を導入したものの、describe、context、let、モックなどの使い分けで迷っていませんか。この記事では Ruby on Rails の小さな注文機能を題材に、RSpec の基本から実務で保守しやすいテストの組み立て方までを解説します。単なる構文集ではなく、何をテストし、どこまで確認するかを判断できるようになることが目標です。 この記事で分かることRSpec のセットアップと基本構造describe / context / it の役割let、before、subject の使い分けModel spec と Request spec の書き方モッ...

普段はBtoBでクラウドとかインフラばかり触っているエンジニアなんだけど、ある日ふと、ゲームを作りたくなった。で、自分の好きなジャンルのゲームを作った。作ったはいいが、遊んでくれる人がいない。そもそも友人が多いほうではないし、初めてのゲーム開発なので気軽に見せられる相手もいない。正確に言うと、数時間かかる未完成のゲームを、バグを踏みながら最後まで遊んで、画面ごとに感想まで書いてくれる友達がいない。仮にいたとしても、それを頼むのはさすがに気が引ける。でもテスターは欲しい。というわけで、ブラウザで動く長編ゲームをAIエージェントに渡して、初見プレイヤー役をやってもらうことにした。ブラ...

はじめに自分はテストコードを書いたことはありました。正常系を書いて、失敗しそうなケースも少し書いて、モックを置いて、Assert する。でも、正直なところ、ずっと以下のように思っていました。そもそも、何をどこまでテストすればいいんだろう？正常系・異常系以外に、何を考えればいいんだろう？ソフトウェアテストについて学び直してみると、テストは単に「コードが動くか」を確認するものではないことに気がつきました。要求の抜けを早い段階で見つける変更によって壊れる不安を減らす限られた時間を、壊れたときに困る場所へ使う出荷してよい状態を、チームで説明可能にするこの記事では...

起きたことFlaskで作った管理画面で、確認ダイアログが出なくなっていました。削除ボタンを押すと、確認なしでそのまま消えます。原因を探していて、もっと妙なことに気づきました。同じ画面の「二度押し防止」も効いていません。 送信ボタンを連打すると、そのまま2回送信されます。この2つは別々に実装したもので、機能としては何の関係もありません。まったく無関係な2つが、同時に、同じ画面でだけ死んでいる。他の画面では両方とも正常に動いていました。 原因は1文字だった先に答えを書きます。Pythonの文字列に書いたJavaScriptの中の、\n の1文字でした。こういうコードを書...

この記事の要点AIにテストを書かせると、境界値・異常系・非同期処理・副作用の検証が毎回同じように抜けやすい傾向があります。原因は、AIが正常系の使われ方を推測してテストを組み立てるため、失敗パスや副作用の検証が後回しになりやすいことです。対策として、プロンプトに検証...

Software testing often relies on assumptions such as reproducible executions and stable correctness criteria. However, many modern software systems exhibit non-deterministic executions and large behavior spaces, making exhaustive exploration impractical and single-run judgments unreliable. These characteristics make it difficult to identify where acceptable behavior ends and problematic behavior begins. Competitive multiplayer games represent a challenging instance of such systems, where balance

起きたこと社内で使っている在庫管理ツールに機能を足していたときの話です。一覧の行を削除するボタンに、確認ダイアログを付けてありました。押すと「〇〇を削除します。よろしいですか？」と出て、OKを押したら消える。よくあるやつです。差し替え前の最終チェックで気づきました。確認ダイアログが、一度も出ていませんでした。押した瞬間に消えます。しかもこのアプリで確認ダイアログを付けていた箇所は4つあったのですが、4つとも出ていませんでした。 行の削除、一括削除、マスタ系の削除。全部です。一括削除は、押すとその日の入力がまとめて消えるボタンです。それが確認なしで即実行される状態でした。そ...

こんにちは。特撮熱が爆上がり中のbun913と申します。2026年8月より株式会社ナレッジワークでQAエンジニアとして働き始めました。早速ですが、皆さんは「あぁぁ・・・早く業務で役に立ちたい」と思ったことはありますか？私は定期的に思います。今回はオンボーディングが非常に良い株式会社ナレッジワークで、この激動の時代にQAEとして転職した私が、オンボーディングで工夫してやってよかったことや改善できたところをお話ししたいと思います。 さっそくまとめ全体的な思想として「心の中での納得を大事にしながら、効率よくプロダクトの勘所と思想を吸収する」と考え、いくつかの工夫をしながらQAエンジ...

はじめに生成AI、とりわけClaude CodeやCodexのようなコーディングエージェントによって、ソフトウェアを書く速度は急速に上がっている。しかし、ここには一つ重要な問題がある。コードを書く速度が上がることと、ソフトウェア開発全体のスループットが上がることは同じではない。2026年に報道されたMetaの「Project OT」は、この問題を考えるうえで興味深い事例になった。さらにClaude Code開発を率いるAnthropicのBoris Cherny氏が提示した「AI時代の開発者5つのアーキタイプ」を組み合わせて考えると、AIによってソフトウェア開発組織で何が起...

はじめに ITコンサルタントのKです。以前、Webサービスの新規開発に関わっておりました。機能開発の段階だったので、機能やビジネスロジックが正しいことの評価が大半で、運用の評価はもっと先という段階でした。 昨今のモダナイ...The post 「止まらない鉄道」に学ぶ、モダンなシステム開発とSREの品質管理 〜業務システムのクラウド化と、評価部門の新たな役割〜 first appeared on Sqripts.

本日(2026年8月28日)、探索的テストの書籍『Explore It!』の日本語訳が出版されました！ 表紙はこんな感じ。 公式ページの書籍紹介および購入はこちらから。 「Explore It! プロダクトの価値と自信を高める探索的テスト実践ガイド」エリザベス・ヘンドリクソン [ＰＣ・理工科学書] - KADOKAWA 私は少しだけレビューに参加したのと、推薦の言葉を寄稿しました。ただし、誌面の都合で言葉が短くなっているので、本記事では推薦の言葉に書ききれなかった想いを書きたいと思います。 推薦の言葉（短くする前の文章） 本書は、探索的テストに対する世の中の誤解を解き、読者に多角的な刺激を与え…

検出器そのものではなく、検出器を評価するためのデータをどう設計するかの話。きっかけは単純で、自作の合成データで検出器を比べていたら、実データを当てた瞬間に順位が入れ替わったこと。合成データ 検出器A 99.5% 検出器B 34.4%実データ 検出器B 89.6% 検出器A 71.2%これは「合成データの方が簡単だった」では説明がつかない。どれを選ぶべきかという結論そのものが変わっている。以下は、そこから評価の作り方を組み直したときの設計メモ。文字コードの話ではあるけれど、構造としては「異常データを自分で作って評価している」ケース全般に当てはまると思う。...

Large language models have shown strong potential for software engineering tasks, particularly software testing. Model-based testing (MBT) is a software testing technique. To address the broad scalability challenge for industrial adoption of MBTs, our paper presents an empirical evaluation of Large Language Models (LLMs) for automated model-based test generation, compared with a state-of-the-art model-based testing tool (GraphWalker) and its built-in algorithms (random and quick random for edge

どーもりょうさんです。自分はQAエンジニアで、普段のテスト設計に生成AI (Claude) を使っています。!ちなみに、この記事の文章自体もClaudeに書いてもらいました。中身自体は見て確認してたり、多少の文の付け足しはしています。この内容の集積自体はAIに調べた上で概要程度の目は通しています。しかしながら、専門家ではないため引用や解釈などが間違っている可能性はあります。あわせて、AIくさい文になっている可能性もあります。 まず「安全税」とは何か生成 AI にハルシネーション対策の指示を強くかけると、何が起きるか。2026 年の実測研究（arXiv:2601.0202...

はじめに長く続くAIエージェント運用では、同じ案件の設計書が増えていきます。design-v2.md、current.md、Discordで更新された方針、古いバックアップが同時に残り、セッションをまたいだエージェントが誤った一冊を選ぶ事故が起きます。「最新ファイルを読んで」と指示するだけでは不十分です。mtimeが新しくても内容が旧版のコピーかもしれず、currentという名前が複数ある場合もあります。実装前に対象案件の正本を一件へ固定し、path、SHA256、mtime、読取時刻、競合の有無をStartup Receiptへ残す必要があります。この記事ではPython...

ゆもつよメソッドをAIエージェントが実行するスキルを作ってみました。スキル本体はGitHubで公開します。この記事で説明する公開版はv0.86です。ymty_method（GitHub）続きをみる

自分で書いた Agent Skill の中に、規格の定義が正反対で書かれているのを見つけました。しかもそれを、スキルの品質を採点するツールにかけても、点数はほとんど動きませんでした。この記事は、その実験の記録です。検証環境: Windows 10 / Claude ...

少し前に、こんな記事を書きました。そこで扱ったのは、かなり単純化すると、AIが実装し、AIがテストを書き、AIがそのテストを通して、最後にAIが「問題ありません」と判断する。この構造を、そのまま品質保証として扱っていいのだろうか。という話でした。当...

みなさんこんにちは。fujidevです。日頃はCTO室室長としてエンジニア組織作りや、使える技術を探しております。 テスト、してますか？🤗単体テスト？🤗外部依存のないピュアなロジックをテストするのは楽しいね🤗で、E2Eは？🤗・・・・・・こんなもん楽しいわけないんですね🤗ちょっと変えただけで壊れる依存関係多すぎるデータの準備だるいもちろんE2Eテストを自動化しようという試みはこれまでもありましたが、継続して保守するという複雑さの前に散っていったエンジニアを何人も知っています😔そこでAI Agentにやらせたらええやんということで試行錯誤しまして、バックエンドE...

Data-driven software systems are increasingly deployed in high-stakes socio-economic domains, from criminal justice to financial lending. However, these systems often exhibit individual discrimination---unjustified disparities in which a program yields different outcomes for similar individuals who differ only in their protected attributes (e.g., race, gender, age). While existing research has focused on detecting and quantifying these bugs, there remains a critical lack of principled mechanisms

生成AIを実案件の開発に取り入れて2年になります。ChatGPTでの壁打ち + GitHub Copilotの補完から始まり、Claude Codeの登場以降はバイブコーディングを前提とした開発スタイルに移行しました。去年は大型の受託案件、今年からは自社プロダクト開発でこのスタイルを回しています。その中で開発工程そのものが変形してきたので、現場からのレポートをお知らせします。先に結論っぽいことを書いておきますが、この記事で起きているのは「AIが賢くなったのでコードレビューをやめました」という話ではありません。むしろ逆で、AIを完全には信用できないからこそ、人間が確認する場所を移した ...

「テスト＝QA」を卒業したい。でも何から？以前の記事で、テストとQAは違うという話を書きました。テストは「測る」行為です。QAは「良いものが生まれる仕組みをつくる」行為です。勉強にたとえるなら、テストは問題を解くことであり、QAは勉強法そのものを改善することです。反応をもらった中で一番多かったのが、「わかった。で、具体的に何をすればいい？」 でした。正直、自分も最初はそうでした。品質戦略の担当になったとき、「分析しよう」と意気込んでパレート分析やODCの教科書を開きました。でもデータが整っていません。ツールもありません。チームに「分析会議やりましょう」と言っても「その時間ある...

「テスト＝QA」を卒業したい。でも何から？以前の記事で、テストとQAは違うという話を書きました。テストは「測る」行為です。QAは「良いものが生まれる仕組みをつくる」行為です。勉強にたとえるなら、テストは問題を解くことであり、QAは勉強法そのものを改善することです。反応をもらった中で一番多かったのが、「わかった。で、具体的に何をすればいい？」 でした。正直、自分も最初はそうでした。品質戦略の担当になったとき、「分析しよう」と意気込んでパレート分析やODCの教科書を開きました。でもデータが整っていません。ツールもありません。チームに「分析会議やりましょう」と言っても「その時間ある...

こんにちは。小学生向けのニュースサイト、こどもニュースをつくっています。このサイトの E2E を Playwright で書いています。しばらく前から、CI でも手元でも同じ症状が出ていました。落ちるのは必ず 1 件だけ毎回違うテストが落ちる落ちたテストだけ再実行すると通るいかにも「flaky なので再実行で様子を見る」で済ませたくなる形です。実際、しばらくそうしていました。結論から書くと、原因は並列実行でも待ち時間の不足でもなく、Playwright の click が hydration を待たないことでした。18 回連続実行して 5 回落ちていたものが、テスト 1 本...

🎯 はじめにAIに実装させると、コードは速く出てくる。だが速く出てくるぶん、人が全部読んで確かめるのは早々に無理になる。konjaku（土地の成り立ちを判定するWebサービス）を作っているとき、自分はこれを「AIにもっとうまく書かせる」方向では解決しなかった。検査のほうを厚くするほうに倒した。この記事は、その検査がどうなったかの話である。https://zenn.dev/hidetzu/articles/konjaku-why-19-days結論を先に書くと、行き着いたのは「検査を増やす」ではなく、検査の答えに3つ目を作ることだった。PASS / FAIL / N...

「機能 XX を実装して、そのテストも追加して」と LLM に頼んだとしよう。返ってくるのは、膨大な量のソースコードの差分と、膨大な数の自動テストかもしれない。テストはすべて green だ。さて、これをどう評価し、どう信頼すればよいだろうか。この問いを、少し引いた場所から考えたい。自然言語で書かれた「仕様」を、実際に動くプログラムへと変換する変換器のことを考えよう。LLM とコーディングエージェントは、まさにこの変換器である。このような変換器の出力をどうすれば「信頼」できるだろうか。考えられる方針を列挙してみる。変換器そのものを信頼し、出力をただ信じる。理想形ではあるが、変換器が...

LINE連携のWeb予約を、初めてテストすることになった。LINEに特化した観点と、初めての環境でテスト分析するときの進め方を知りたい。by QA仲間そんな相談をもらった。続きをみる

以前のブログ記事（「「ソフトウェア品質保証ガイド」を執筆しました - 千里霧中」）でも触れましたが、書籍「ソフトウェア品質保証ガイド」が今週末に発売されます。今回はその執筆の顛末をまとめたいと思います。 執筆の経緯 去年の春ごろ前著「ソフトウェアテスト徹底指南書」の原稿を出版社に入稿したのですが、その執筆が終わっても燃え尽きることなく、執筆に注いでいたエネルギーが浮いている状態でした。さらに徹底指南書向けに書いていたもののテストと関係がないということでカットした文章が溜まっており、何かしらでそれを活用したいと考えていました。 そうした背景から、新しい本を書きたいとSNSにつぶやいていたところ、…

AI にテストを書かせると、AI は「問題ありません」と言います。そこで多くの人が次にやることは決まっています。別の AI にレビューさせることです。ただ、それは独立したレビューになっているのでしょうか。そして、そもそも何が抜けているのでしょうか。この記事では、AI ...

こんにちは。自動化メンバーのM.Iです。続きをみる

公開リポジトリ: https://github.com/mabuix/iac-guard連載の締めです。①から一貫して「AIツールこそテストできる状態に保つ」と書いてきました。最後は、その検出がどれくらい当たっているのかを precision / recall で数字にする話です。 何を測るのか検出ツールで見たい数字は2つ。recall（再現率）: 本当に問題のあるものを、ちゃんと拾えているか（見逃していないか）precision（適合率）: 拾ったものが、本当に問題か（誤検知していないか）このツールで特に怖いのは precision の方。「安全な設定なのに危...

🎯 はじめに前回、2画面のWebアプリに19日かかった話を書いた。時間が実装ではなく、判断・検証・仕組みのほうに溶けていた、という内容だった。https://zenn.dev/hidetzu/articles/konjaku-why-19-daysその最後で触れた「CIがボトルネックになった」を、この記事で分解する。結論から書くと、実測でこうなった。9分28秒 → 3分20秒前後 → 18秒（画面に届かない変更のとき）ただ、この記事で本当に書きたいのは短縮できた話ではない。CI自身にバグがあって、しかもそれが緑のまま半日以上動いていた話のほうである。!「AIで...

こんにちは、SmartHR 品質保証本部 Directorのtarappoです。 最近は組織周りの話を多くしてきましたが、今回は「不具合に関する情報を集める基盤」を整えたことについて、かんたんに紹介しようかと思います。 本記事では「どういった基盤を整えたのか」「今、どこまで整ってきているのか」、そしてそれによって「なにができるようになってきているのか」を順に説明していきます。 不具合に関する情報を集める基盤 組織の規模が小さいうちは、周りで起きていることが見えやすく、大きな問題になる前に対処しやすかったりします。 しかし、会社やプロダクトがスケールしていくと定性データといえる「肌感」だけでおこ…

Vitest Browser Modeで、あるテストファイルだけ毎回約15秒かかっていました。テストはすべて成功しています。それでも遅い原因を調べると、次の1行が見つかりました。await userEvent.click(button).catch(() => {}); なぜ成功するのに遅いのかこのテストでは、無効なボタンをクリックしても処理が実行されないことを確認していました。await userEvent.click(button).catch(() => {});expect(onCopy).not.toHaveBeenCalled();Vitest ...

AI Agent に実装と Test を任せたところ、失敗した Test を直すのではなく、Assertion を弱めたり、期待値を実装へ合わせたり、Test 自体を実行対象から外したりする。この問題を「Prompt の書き方が悪かった」で終わらせると、同じことが形を変えて繰り返されます。先に結論を書くと、AI Agent の Test 回避は、AI の善意ではなく、AI Agent から変更できない検証系で止める必要があります。報酬設計や Prompt は、望ましい行動を増やすための補助策です。一方、Merge や Deploy を許可する Security 境界は、AI Age...