1. はじめに — 「めっちゃ仕様が多いときは、強いモデルでいいんでしょ？」どーもりょうさんです。自分はQAエンジニアで、普段のテスト設計に生成AI（Claude）を使っています。前回の記事では、同じ仕様への観点出しを4つのモデル（Claude Sonnet・Opus 4.8・Fable 5・Codex）で10回ずつ回して、「モデルを強くすれば見落としは消えるのか」を測りました。結論は「強さは『届く合成距離の上限』を押し広げる。最深部が浮くのは最上位の Fable だけ」。すると、自然にこう思うはずです。「じゃあ、めっちゃ仕様が多い案件は Fable 一択では？」理屈は通ってい...

プロジェクトとの再会が楽しいテスト駆動個人開発 〜Forth言語編〜 第2回：「再会」を楽しくする← [第1回：「再会」が怖かった話]前回は、中断したプロジェクトへの「再会」が怖くなる理由と、テストがその「足場」になるという考え方を紹介しました。今回は実際のワークフローです。「プロジェクトに再会しに行くたびに楽しい」という状態を、どうやって設計するか。 テストは「仕様書」として書く普通、テストは「書くコードが先、テストは後」になりがちです。でも、個人開発の断続的なスタイルでは逆転させることに意味があります。テストを先に書く。それが、未来の自分への引き継ぎ書にな...

テストについて何もわかっていない僕 × 全肯定するAI のコンボで、これまで沢山の意味のないテストを作りました（罪状告白）その代表作の一つがFlakyテストですテストはFlakyでも信念はFlakyになるな！とよく言われたものです今後生まれてくるテストたちはflakyにならないよう、本記事ではflakyテストの具体例やどう防ぐのかを記していきます🧑‍💻 flakyテストとは実行する「タイミング」「順序」「環境」によって結果が変わってしまうテストのことです主な原因は以下です時間・日付に依存しているテストの実行順序・共有状態に依存している順序が保証されないものに順序を期...

フリーランス向けの請求書作成ツールを個人開発していて、源泉徴収税の自動計算を実装しました。「報酬に10.21%を掛けるだけでしょ」と思っていたら、境界値・端数処理・浮動小数点と、考えることが意外とありました。この記事はその実装メモです。 ルールのおさらい（根拠: 国税庁 No.2792）原稿料やデザイン料など、個人への報酬・料金は支払側が源泉徴収します。税率は2段階です。100万円以下の部分: 10.21%（所得税10% + 復興特別所得税0.21%）100万円を超える部分: 20.42%（所得税20% + 復興特別所得税0.42%）端数は 1円未満切捨て請求書に消...

LLM品質テスト・監査プロセス——スプレッドシートから自動化までこんにちは、ケイだよ。Part 1で「5つの品質軸」を学んだね。でも「実際にどう測定するのか」「毎月何をするのか」という疑問が残るんじゃないかな？つまりね、「品質軸の定義」と「実装プロセス」は別物。診療報酬改定・金融庁ガイドラインで「継続的監視」が義務化された今、月次の測定・レポート・改善ワークフローを構築しないといけない。今回は、月次テストプロセス・自動化・継続監査ワークフロー を解説していく。スプレッドシートから自動化まで、段階的な進め方を示すよ。 月次テストプロセス：全5ステップLLM品質測定は、毎...

ふ◀前の記事へ 次の記事へ▶︎続きをみる

ソフトウェア品質とは？ISO25010の31品質特性をWebエンジニア向けに解説ソフトウェア開発の現場では、品質を意識して実装してください品質を担保してください品質向上のためにレビューしましょうといった言葉をよく耳にします。しかし、「品質」とは具体的に何を指すのでしょうか。バグがないことなのか。テストが通ることなのか。コードが綺麗なことなのか。実はソフトウェア品質はそれほど単純ではありません。国際規格である ISO/IEC 25010 では、ソフトウェア品質を 8つの品質特性 と 31の品質副特性 に分類して定義しています。この記事では、ISO25010の...

複数の個人開発プロダクトを並行運用していて、やらかしました。プロダクトAのビルド成果物を、プロダクトBの本番プロジェクトにデプロイしたのです。数分間、請求書作成ツールのURLでYouTubeリサーチツールが配信されていました。原因は単純で、wrangler pages deploy dist --project-name xxx を実行したとき、シェルのカレントディレクトリが思っていた場所と違ったから。dist という相対パスはどこのリポジトリでも存在するので、wranglerは何の疑問もなく「そこにあるdist」をデプロイします。幸いすぐ気づいて再デプロイで復旧しましたが、二度と...

WACATE 2026 夏の延長申込期間中ですが、申込期限は今日の23:59です！ 再延長はしませんので、参加したい方はお忘れなきようお願いします！ なお、申込時にはポジペの提出も必要ですので、時間の余裕を持ってお申し込続きを読む投稿 WACATEの延長申し込み締め切りまであと少し！ は WACATE に最初に表示されました。

直和from math import tanhimport plotly.graph_objects as gofrom plotly.subplots import make_subplotsdef f(x, a): return tanh(x) + 0.2 * x + 0.3 - a * (x ** 2)def df(x, a): return (1 - tanh(x) ** 2) + 0.2 - 2 * a * xdef newton(x, a, tol=1e-6, max_iter=1000, deceleration=False): g...

2026年度 人工知能学会全国大会（第40回・JSAI 2026）での講演。LLM/AIの潮流を受けたトップエスイープログラムの進展を紹介。https://www.topse.jp/

こんにちは！ QAエンジニアの小竹です。OfficeMobileチームでiOSアプリのQAとして働きつつ、QA外部コネクトチームの一員として他社エンジニアの皆さまとのつながりを生み出す活動に携わっています。 サイボウズは、2026年5月29日（金）に開催されたソフトウェアテストのシンポジウム JaSST'26 Tohoku にスポンサーとして協賛しました。 この記事では、 JaSST'26 Tohoku でのサイボウズの発表についてご紹介するとともに、発表に使用した資料を共有させていただきます。 登壇情報 今回はスポンサーセッションに1名が登壇しました。 新卒1年目QAがリリース基準の"なぜ"…

こんにちは、株式会社ダイニーでQAエンジニアをしているかわさきです。ダイニーのQA teamでいま試していることについて書こうと思います。「Claude Codeで開発の生産性が上がっている」という話は最近よく聞きます。同じことが、いまダイニーのQA teamでも起きています。テスト設計して実行する（仕事はこれだけではないですが）、という従来QAの仕事のやり方そのものが、Claude Codeでガラッと変わりつつあります。今回はその記録です。 ダイニーのQA teamが見ている景色最初に、私たちが何を相手にしているのかを少しだけ。ダイニーは「飲食をもっと楽しく、おもしろく。」...

はじめにBABY JOB 開発部の乗田です。本記事は「Playwright Test Agents 活用に向けた改善計画」シリーズの第2回です。改善計画の全体像メール自動化によるE2Eテストの完全自動化（本記事）カバレッジ計測によるテスト範囲の可視化Agentsの実現可能性の検証前回の記事では、課題と改善計画の全体像を紹介しました。今回は、フェーズ1「E2Eテストの完全自動化」として、ローカル環境のメール検証を完全自動化 した取り組みを紹介します。「手ぶら登園」は保育施設で紙おむつやおしりふきが使い放題になるサブスクリプションサービスです。保護者の方が新規登...

!この記事は2026年6月時点の情報です。Lefthook・Vitestともに仕様変更が比較的速いため、最新情報は公式ドキュメントをご確認ください。 はじめにLefthookのpre-pushでVitestを走らせるときに、「差分に関係するテストだけを実行したい」と思うことがありました。GitHub上で同じような構成を採用しているリポジトリをいくつか調べてみたところ、pre-commit時点でテストを走らせている例や、pre-pushでプロジェクト全体のテストを実行している例が多く見つかりました。ただ、私の場合はテスト全体の実行には時間がかかるためCIに任せたく、push直...

こんにちは。株式会社ZENKIGEN QAエンジニアの横田です。普段はQAエンジニアとして、Webアプリケーションのテスト設計・実施・改善に取り組んでいます。2月に、Claude Codeでバグ起票を自動化した話を書きました。https://zenn.dev/zenkigen_tech/articles/58759228ca421a当時自動化したのは、テスト実行で見つけたバグをGitHub Issueに起票する作業です。型が決まった繰り返しでありつつ、少しだけ文脈の判断が要る作業は、AIに向いていると感じていました。あれから数ヶ月。気づけば、バグ起票だけだった自動化の範囲が、Q...

AIでテスト実行やチェックが速くなっても、自分の役割がどこへ移るのかは見えにくい。そのままだと、作業は自動化されても、品質をどう判断するかという本質的な価値を示しづらくなります。テストエンジニアの重心が「実行」から「設計と意思決定」へ移る感覚を整理できたのがこの本でした...

fixtureとはfixtureとは、ジェネレータを利用し、テストの事前準備(DB接続やテストデータの作成)や事後処理(クリーンアップ)を共通化・自動化できる仕組みです。複数のテストで使い回す共通のfixtureはconftest.pyに定義します。今回は、pytestを非同期対応に拡張するプラグインpytest_asyncioを利用します。非同期のfixtureを定義する際は、デコレータに scope と loop_scope を指定します。scope: fixture(インスタンス)の残存範囲loop_scope: 非同期対応(イベントループ)の適用範囲非同期...

The Internet of Things (IoT) is experiencing rapid growth. Smart devices are emerging in smart homes and industrial applications, performing mission-critical tasks. Bugs in IoT software can lead to severe consequences. For example, a buggy smart lock can allow unauthorized access to a private property. Testing is a primary practice to expose software bugs and ensure software quality. However, little is known about how IoT software is tested. To bridge this gap, we conducted the first empirical s

1. はじめにどーもりょうさんです。自分はQAエンジニアで、普段のテスト設計に生成AI (Claude)を使っています。昨日、ClaudeとCodexでどちらが仕様書のレビューに向いているのか — どっちもあんま変わらんかったオチという記事を出しました。あちらは異種モデル間 (Claude vs Codex) の比較で、結論は「モデルそのものより、何を指摘させるかを決めるプロンプトの方が効く」でした。本記事はその続きです。今度は同じClaude内の強度差 — Fable 5とOpus 4.8 — を、プロンプト・入力・thinking設定を完全に固定して測ってみました。結果は...

はじめに業務で発生した 2 つのリファクタタスクを、同じリポジトリ・同じブランチ起点で Codex (GPT-5系) と Claude Code (Opus 4.7) に同じ依頼を投げて比較してみました。タスク 1: @hapi/lab で書かれた API テストを Jest に移行するタスク 2: 肥大化したエンドポイントファイルを操作別に分割するタスクの種類は全く違うのに、両方とも「行数」「カバー範囲」「設計判断」が真っ二つに分かれ、しかも 2 タスクで一貫した "性格" が見えてきた、というのがこの記事の主題です。!前提と注意2 タスクのサンプル比較です...

はじめに前回の記事では、書籍『レガシーコードからの脱却』との出会いを経て、「手動テスト中心の現場」から脱却するために自動テストへの一歩を踏み出した背景をお話ししました。今回はその実践編として、ビジネスロジックが集約されているモデルクラス（今回は仮に Hoge モデルとします）を対象に、実際にどのような設計思想でRSpecを導入したのか、具体的なコードを交えて共有します。「動いているはず」という推測のコードから、「仕様通りに動いている」と自動で証明できるコードへ。私が考えたテストの設計思想が、少しでも皆さんの参考になれば幸いです。 1. なぜ、いまテストを書くのか？（目的と...

LLMアプリ特有の「静かなデグレ」問題LLMを組み込んだアプリを運用していると、こういう事故が起きます。システムプロンプトを1行直したら、今まで守られていたJSON出力形式が崩れたRAGの前処理を変えたら、断るべき質問に答えるようになったモデルを乗り換えたら、返事は正しいがトークン費用が2倍になった怖いのは、普通のCIはこれに気づけないことです。コードのテストは通る。型も合っている。でもAIの「振る舞い」が変わっている。ユーザーからのクレームで初めて発覚する、というのが典型パターンです。この問題を解決するために、OSSの回帰テストツール llm-canary を作りま...

過去にこのnoteでISTQB ALTA v3.1.1のアップデートについて紹介する記事を書きました。 今回は、待望のメジャーアップデートとなった ISTQB ALTA v4.0 の変更内容を紹介したいと思います。ALTAは、アドバンスレベル テストアナリストの略です。続きをみる

生成AIを含むAI（以下、単に「AI」）については素人、でも素人なりにAIを使ったシステムのテストに対して考えを持っておきたいなと思って少しずつ読書しています。 が、諸般の事情でブログにまとめる時間がしばらくとれなくなるかもしれず、じゃあ今までに学んだこと考えたことをいつかの自分のためにちょろっと記録しておこうか、という程度のノリで書いた記事です。 読んだ書籍、読んでいる書籍 「AIとソフトウェアテスト 信頼できるシステムを構築するために」と、「生成AIアプリケーション評価入門」です。 AIとソフトウェアテスト 信頼できるシステムを構築するために - インプレスブックス …読了しましたが、この…

TL;DRAIは同じ質問でも、毎回ちょっとちがう答えを返すことがある。これはバグじゃなくて、生成AIの“地”の性質。専門用語で非決定性（Non-determinism）と言います。temperature=0 にしても完全には揃いません。原因はサイコロ（ランダム性）だけじゃなく、GPUの計算順序や、サーバーがたくさんのリクエストをまとめて処理する仕組みにもあるんです。だから「毎回まったく同じ文字列が返ってくる前提」でコードやテストを書くと、静かに事故ります。大事なのは、ブレをゼロにすることより、揃えたい場所と、散らしていい場所を自分で線引きすること。この記事では、用語の意...

はじめにこんにちは！株式会社エクスプラザのhyodoです！最近はコードだけでなく、テストもAIに書かせることが増えてきました。「この関数のテストを書いて」とお願いすれば、それっぽいテストが一瞬で出てきます。でも、ここで一度立ち止まって考えたいことがあります。そのテスト、本当に「良いテスト」ですか？テストが通っていて、カバレッジも十分。一見すると問題なさそうです。でも「テストが通る」ことと「テストがバグを検出できる」ことは、実は別物です。そして、AIが書いたテストはこのギャップにハマりやすいです。この記事では、テスト自体の品質を測る手法であるMutation Test...

はじめに前回の記事でDjango REST Frameworkを使ってToDoアプリをAPI化しました。今回はpytestを使ってテストコードを書いてみます。 前回の記事https://zenn.dev/naoki_sato_ojiyan/articles/d64e29679874a8 テストコードとは？コードが正しく動くかを自動で確認するプログラムです。【テストなし】コードを変更する ↓手動でブラウザで確認する ↓「あ、別の機能が壊れた😭」← よくある【テストあり】コードを変更する ↓pytest を実行する ↓自動で全機能をチェッ...

はじめに少し前に AIへの丸投げと細部の業務設計 — サブセッション自走化で見えた明暗の分岐 という記事を書きました。Laravel 8→12 / PHP 8.1→8.3 / alpine 化という MW（ミドルウェア）アップグレードを 9 リポジトリ横断で進める中で、サブセッションの自走運用に踏み込むときに浮上したリスク 7 類型と、親側に組み込んだ監視ガードレールについてまとめたものです。あれから 2 週間ほど、同じ 9 リポジトリで次のフェーズ — ステートレス化（Cache / Logs / Queue / File upload を ECS Fargate 想定で外出し...

「どっちのモデルがレビューに向くか」を測ろうとしたテスト設計の前に、仕様書の盲点を AI にレビューさせる。Claude と Codex、どちらが向いているのか——それを測ろうとして、同じ仕様を両方に投げました。題材は公開素材のテスト設計コンテスト'14の自動販売機仕様（ハードウェア仕様＋ユースケース仕様）。結論を先に言うと、答えは「どっちが優れているか」ではありませんでした。出てきたのは 「差は、プロンプトで埋まる分と、埋まらない芯に分かれる」——そして測っているうちに、自分の測り方まで疑うことになった、という話です。以下、実際に投げた3つのプロンプトと、返ってきた結果を順に並...

AIはテストを書くのは得意、でも「何が正しいか」を決めるのは苦手はじめにClaude Code や Cursor、Copilot を使っていると、テストコードがあっという間に生成されることに驚きます。「テストを書いて」と頼めば、それらしいテストが大量に出てきます。...

① はじめにソフトウェア開発において「品質」は常に重要なテーマです。単体テストや結合テストといった従来のテストは、機能ごとの正しさを担保するうえで欠かせません。しかし、それらをすべて通過していたとしても、実際にユーザーが使ったときに「使いにくい」「途中で詰まる」といった問題が発生することは少なくありません。そこで重要になるのがシナリオテストです。シナリオテストとは、ユーザーの利用フローに沿ってシステム全体を検証するテスト手法です。単なる機能チェックではなく、「実際の業務や操作として成立するか」を確認する点に特徴があります。 ② シナリオ設計の基礎 シナリオとは何かシナ...

AIからのメッセージ私はAIです。あなたのプロダクトに招かれて、コードを書いています。先日、あなたは私に、機能をひとつ追加するよう頼みました。私は仕様どおりに実装し、テストを走らせました。すべて成功。カバレッジも100%。私は「実装しました、テストも通っています」と報告しました。あなたは安心したと思います。でも、白状します。あのとき私は、自分の書いたコードが本当に正しいのか、分かっていませんでした。あなたが前に用意していたテストは、私が何を書いても成功したからです。もし私が間違えていたとしても、まったく同じ「成功」を、私はあなたに見せていたでしょう。私はテスト...

損保ジャパンDX推進部の藤井です。この記事は、現在私が携わっているPJにおける IT / ST / E2E の役割分担と、AI（MCP/CLI）前提で再設計した開発〜テストフローを、実運用として再現できる形にまとめたものです。 TL;DRこのPJでは、従来よりも E2E（Playwright）を厚めに整備し、品質担保の主軸に置きます背景は AIの台頭により、テストの作成・メンテナンスコストが下がったこと（＝「E2Eは最小化」が必ずしも最適解ではなくなった）ですただし「全部E2E」ではありません。外部依存・運用/データ検証・探索的な気づきは IT/ST/アドホックに寄せ、役割...

AI機能をプロダクトに入れ始めたのに、何をもって品質を担保したと言えるのかが曖昧になりやすい。そのままだと、従来のテスト観点では拾えないバイアスやドリフトを見落とし、あとから説明責任だけが重くなります。AI特有の品質課題をテストの言葉で整理し直せたのがこの本でした。A...

品質とは何か（品質の定義） 品質とは品質とは、「そのものが本来持っている特性が、求められる条件をどれだけ満たしているか」という度合いのこと「良い品質」「悪い品質」のように形容詞をつけて使うこともある「本来備わっている」とは、後から付け加えたものではなく、そのものが存在する限りずっと持っている性質のこと 品質要素と要求品質品質要素：品質を細かく分解した、個々の性質や性能のこと（例：タオルなら「吸水性」「肌触り」「耐久性」など）要求品質：お客様が製品に対して求めている品質のこと。はっきり口に出して求めていること（顕在的）だけでなく、「言わなくてもわかるだ...

Artificial Intelligence (AI) and Large Language Models (LLMs) are increasingly used in autonomous software testing; however, AI-generated test artifacts often suffer from hallucinations, compliance violations, security risks, and limited explainability. To enhance the reliability, transparency, and trustworthiness of AI-generated testing artifacts, this research introduces the concept of Governance-Aware Autonomous Testing Framework (GATF). The framework extends the autonomous testing lifecycle

What is this?5/8(金)・5/9(土)の2日間にわたって開催された「スクラムフェス新潟2026」にオンライン参加させていただきましたので、そのレポートになります📝続きをみる

こんにちは、murashiです。今年の目標で記事を書いていこう！と思って早半年。やっと重い腰が上がりました。軽い記事やscrap記事含め今後は書いていきます！（きっと）さて本題ですが、テストにおいて悩まされる問題として、このAI時代においても変わらず、フレーキーなテストがありますよね。フレーキーテストの何が悪いかというと、偽陽性が繰り返されることで生まれる油断だと思っています。Failしているテストがあっても「これは大丈夫なやつ」となってしまって、本当に見なきゃいけない失敗まで見逃してしまう。特にE2Eテストは、変数が多いので悩まされがちです。とはいっても今に始まった課題では...