私は個人で、自分だけが使う自動化ツールを作っている。人手はないので、AIコーディングエージェントのセッションを3つも4つも同時に走らせて、実装を任せている。そういう使い方をしていると、報告の最後はだいたいこう締めくくられる。テストを3件追加しました。全2,331件、すべてパスしています。数字は本当だ。嘘は書いていない。それでも、この報告は「今回のコードが検査されている」ことを何ひとつ証明していない。2,331件が全部通ったという事実と、いま足した機能が検査されているかどうかは、独立している。極端な話、追加されたテストが対象の関数を一度も呼んでいなくても、この報告文はそのまま成...

俺が個人開発してる Web サービスに、ローカル検証用の mock checkout がある。Stripe を飛ばして購入を paid にするやつだ。これが決済だけじゃなく、購入後の AI 分析までフォールバックの定型文で埋めていた。気付くまで 2 ヶ月、有料成果物の中身をローカルで一度も見ていなかった。 入れた経緯はまとも5 月のコミットに「dev: make local analysis deterministic」とある。ローカルの分析結果を毎回同じにすれば、API キー無しで E2E が回るしテストも安定する。persistAnalysisResult(db, run,...

自分のツール3本の状態遷移を読み直したら、全部同じ形で壊れていました。設計レビューで使える観点として残します。 一方通行の遷移表は、それ自体が仕様の宣言手元のコードにこういう遷移がありました。待機 → 実行中 → 完了 ↘ エラー一見きれいですが、完了 と エラー から出ていく辺が1本もありません。これは「失敗したら終わり」「一度完了したらやり直せない」と仕様に書いたのと同じです。そう書いたつもりはなくても、コードはそう読みます。実際、この1本の欠落が3つの症状になっていました。症状原因一時的なエラーで止まったジョブが二度と動かない...

はじめにcronが毎朝起動し、ログ末尾にOKと出ていても、仕事が完了したとは限りません。記事在庫が空で何もしなかった、外部API失敗をcatchしてexit 0にした、ログ書き込み権限がなく監視だけ更新されなかった、といった偽成功があります。監視すべきなのはprocessの生存ではなく、期待したoutcomeです。triggered、processed、effected、verifiedを分け、ジョブごとに成功、正当なskip、失敗の契約を定義します。dry-run、route_id、Receipt schemaを実装契約に含めると、単なるログ監視から外部作用を検証する運用...

◀前の記事へ 次の記事へ▶︎続きをみる

エンジニア系 ・ホワイトハッカーの教科書超おすすめ。正直エンジニア1年目に出会いたかった。読みやすく中身が詰まった良書であり、独学したい人にとってありがたい本。厚み1.5cmくらいで、エッセイのようにどのページからも読める。タイトルは「ホワイトハッカー」になりたい人向けだが、内容としてはエンジニア全体向けと言える。セキュリティに関する知識や実力の付け方がメインで書いてあり、他の分野にも応用可能。個人的には書見台を買うといいとか、ハードウェアの脆弱性を知るために分解をやるとかあまり他で聞かない話が色々出てきたのでユニークで価値のある本だと思った。書見台を買ってみた。細...

このシリーズ：個人開発・20万行規模（テスト込み）のAIネイティブ語学アプリ「PHRAZE」の iOS 設計を、4回に分けて書いています。背負う制約は 個人開発／AI駆動／オフラインファースト の3つ。そこから導いた原則は1つ——境界を、人間のレビューではなく型・Protocol・CIテスト・明文化した規約に守らせる（AIが物理的に境界を越えられないよう構造で縛る）。骨格は View → ViewModel → UseCase → Repository / Service。View/VM が触れるのは DTO と UUID だけ、SwiftData 操作は @MainActor、外部I...

はじめに：そのGoコード、本当に「動く」と言い切れますか？「機能実装で手一杯で、テストコードまで手が回らない」「testingパッケージの存在は知っているけど、どう書き始めればいいかわからない」「テストを書いたつもりだけど、これで品質が担保できているのか自信がない」Go言語で開発をしていると、こんな悩みを抱える方は多いのではないでしょうか。特にGoは標準ライブラリだけでテストが書けてしまうため、逆に「何が正解なのか」の指針が見えづらく、我流になりがちな領域でもあります。しかし、テストコードは単なる「動作確認の道具」ではありません。将来のリファクタリングを支え、仕様をドキュメ...

AIにコードを書かせて、暗号資産の自動売買Botを作りました。取引所APIに繋いで、Docker化してクラウドに常駐させて、24時間動かしています。テストは737件あります。**まだ1円も実弾を入れていません。**そしてこの記事に出てくる問題は、全部その前に見つかりました。AIは驚くほど速くコードを書きます。ただ、**ここに出てくる問題のどれも、テストでは捕まりませんでした。**捕まえたのは全部別のものでした。この記事は「AI開発は危ない」という話ではありません。どこが危なくないままで、どこが危ないままなのかを、実際に起きたことで分けた記録です。 1. テストは「前提」ごと検...

テストは書いているのに、変更のたびに直す箇所が増えて開発が重くなる。そのままだと、安心のために書いたはずのテストが、チームの足を引っ張る存在になりやすいです。この本は、単体テストをただ増やすのではなく、壊れにくく価値の高い形に整える考え方を持てるのが良かったです。単体...

問い合わせ返信のプロンプトやFAQを変更したあと、「前より良くなった気がする」だけで運用へ戻すと、別の問い合わせで退行していても気づけません。この記事では、実際の顧客情報を使わない少数のテストケースを固定し、AI返信下書きの変更前後を同じ基準で比較する方法を扱います。対象は、すでに返信下書きを人間が確認しており、プロンプトや参照FAQを継続的に改善したい運用担当者です。完成状態は次のとおりです。匿名化または架空の問い合わせを6〜12件用意する各ケースの期待動作と「止める条件」をYAMLで管理する変更前後の出力を同じ評価表で人が確認する不合格が1件でもあれば、自動送信せず変...

これはテスト記事です。

「たぶんここが原因だと思うんだけど」AIに調査を頼むとき、こんな書き方をしていないでしょうか。保存すると合計値がおかしくなるバグがあります。たぶん非表示のパーツも数えてしまっているんだと思うので、調べてもらえますか。親切のつもりで書いています。手がかりを渡した方が早く辿り着けるはず、という感覚です。でも実際に起きるのは、こういうことだったりします。AIは非表示フラグの扱いを丁寧に調べ上げ、それらしい説明を返してくれます。そして本当の原因が別の場所——たとえば集計クエリのJOIN条件——にあった場合、そこは最後まで調査対象に入りません。原因を特定できなかったわけではなくて...

「たぶんここが原因だと思うんだけど」AIに調査を頼むとき、こんな書き方をしていないでしょうか。保存すると合計値がおかしくなるバグがあります。たぶん非表示のパーツも数えてしまっているんだと思うので、調べてもらえますか。親切のつもりで書いています。手がかりを渡した方が早く辿り着けるはず、という感覚です。でも実際に起きるのは、こういうことだったりします。AIは非表示フラグの扱いを丁寧に調べ上げ、それらしい説明を返してくれます。そして本当の原因が別の場所——たとえば集計クエリのJOIN条件——にあった場合、そこは最後まで調査対象に入りません。原因を特定できなかったわけではなくて...

Claude Code には claude -p という、対話せずに1回だけ指示を投げて結果を受け取る使い方(ワンショット実行)があります。今回は「1h30m や 500ms のような人が読める期間の書き方を、ミリ秒の数値に変換する小さなプログラムを作れ」という仕様書を1枚書き、同じ文面をそのまま4回投げました。返ってきた実装を自分で用意した20問のテストにかけたところ、1回はコードが1行も返ってこず(それでも終了コードは0)、コードが返った3本は20問すべてに合格したうえで、ある入力に対する答えが3本で揃わず、1本だけが1ミリ秒ずれていました。 なぜ「同じ仕様書を4回」なのかこれ...

はじめにAIエージェントを複数動かすと、同じキューを二台が読んだり、タイムアウトした親が子を再起動したりして、同一タスクが重複実行されます。下書き生成なら上書きで済んでも、SNS投稿、請求、デプロイなど外部作用では事故になります。単純な locked=true は、ownerが停止すると永遠に残ります。逆に一定時間後にlockを削除するだけでは、遅れて復帰した旧ownerが処理を続けます。必要なのは期限付きTask Leaseと、古いownerの書き込みを拒否するfencing tokenです。 Leaseのschemaを決めるTask本体とLease状態を分け、own...

生成AI時代にこそ「ゆもつよメソッド」：テスト分析のモデルを Agent Skill にしてみたAI 時代、Agent Skill などを使ってテスト設計をしている QA エンジニアも増えてきたと思います。ただ、そこに「テスト分析」の手法をちゃんと挟めているでしょうか？今回はゆもつよメソッドの学び直しと、それをAI時代で使ってみる記事を書いてみました。自分なりに、過去に公開された資料を見ながら解釈をしていますが、もし誤りがあれば、遠慮なくご指摘ください！ 1. 改めて、ゆもつよメソッドのモデルを理解するゆもつよメソッドは、湯本剛さんが考案したテスト分析・テスト設計の手法で...

生成AI時代にこそ「ゆもつよメソッド」：テスト分析のモデルを Agent Skill にしてみたAI 時代、Agent Skill などを使ってテスト設計をしている QA エンジニアも増えてきたと思います。ただ、そこに「テスト分析」の手法をちゃんと挟めているでしょうか？今回はゆもつよメソッドの学び直しと、それをAI時代で使ってみる記事を書いてみました。自分なりに、過去に公開された資料を見ながら解釈をしていますが、もし誤りがあれば、遠慮なくご指摘ください！ 1. 改めて、ゆもつよメソッドのモデルを理解するゆもつよメソッドは、湯本剛さんが考案したテスト分析・テスト設計の手法で...

どうも、じょーです。今年もJaSST Niigataの季節が近づいてきました！！JaSSTのこと知らないよって方には少し触れていただき、知ってるよって方には今年のJaSST Niigataに興味を持ってもらえるような内容にできたらと思っています。!この記事の情報は執筆時点のものです。最新情報は必ず 公式サイト でご確認ください。 JaSSTについてJaSSTとはJaSST（ジャスト）は、NPO法人ASTER （ソフトウェアテスト技術振興協会）が運営するソフトウェア業界全体のテスト技術力の向上と普及を目指すソフトウェアテストシンポジウムです。※JaSST：Japa...

品質戦略のレイヤーに、QAがいない。PdMやDevには役割を広げていくキャリアパスが見えている。PdMはプロダクト組織のリーダーへ、Devはアーキテクトやテックリードへ。でも、QAの先は確立されていない。AI時代になって、この空白がさらに際立って来るように感じる。ソフトウェア開発の現場には、3つの主要ロール、いわゆる3アミーゴがいます。PdM（プロダクトマネージャー）：「何を作るか」を決める人Dev（開発者）：「どう作るか」を実現する人QA（品質保証）：「それで正しいか」を問う人自分は開発者→QA→事業開発と渡り歩いてきました。コードを書く側、品質を問う側、売上を...

品質戦略のレイヤーに、QAがいない。PdMやDevには役割を広げていくキャリアパスが見えている。PdMはプロダクト組織のリーダーへ、Devはアーキテクトやテックリードへ。でも、QAの先は確立されていない。AI時代になって、この空白がさらに際立って来るように感じる。ソフトウェア開発の現場には、3つの主要ロール、いわゆる3アミーゴがいます。PdM（プロダクトマネージャー）：「何を作るか」を決める人Dev（開発者）：「どう作るか」を実現する人QA（品質保証）：「それで正しいか」を問う人自分は開発者→QA→事業開発と渡り歩いてきました。コードを書く側、品質を問う側、売上を...

会議の録音を文字起こしして議事録を作るツールを自作しています。文字起こしの結果には、音声認識が返した表記のゆれが残ります。「エーピーアイ」「ギットハブ」のようなカタカナです。これを正しい表記へ直すために、用語辞書を持たせています。ある日から、この置き換えが1件も効かなくなりました。画面には 用語辞書: 0語。処理は最後まで走り、終了コードは0でした。辞書ファイルは存在します。中身も5件入っています。ツールが見に行っていたパスが違っていました。読み込み関数が「無い」を「空」へ変換していたので、ファイルが無いことは失敗として扱われませんでした。想定している読者は、設定ファイルや辞書、...

はじめにボブおじさん（Robert C. Martin）のポストが流れてきました。https://x.com/unclebobmartin/status/2080257779395154409私がコードを書き始めたのは60年代後半。現在の私の戦略は、AIエージェントが書いたコードには一切目を通さないことです。それがAIの生産性を活かすことのできる唯一の方法だからです。その代わりに私がやっているのは、エージェントを極めて厳格な制約条件で囲い込むことです。ボブおじさんのリポジトリを見ると、ユニットテスト、Gherkinテスト、QA手順、品質メトリクス、ミューテーションテスト、...

テストコードできた！通った！100% OKでてました！10日後、不具合発生・・そんなことが無いようにAIにはテストコード作成時は、ミューテーションテストで動作確認することと付け加えましょう。 ミューテーションテストとは実装コードをわざと少し壊して、テストがちゃんと失敗するか確認する方法です。AIだからというわけではなく、人間が作成するときにも使えるお馴染みの確認方法です。たとえば if (age >= 20) を if (age > 20) に変える。これでテストが失敗すれば、そのテストは境界値の不具合を検出できています。逆に、壊しても通るなら、そ...

はじめにサイクロマティック複雑度 (cyclomatic complexity) はリファクタリングの文脈でよく出てくる言葉ですが、何を数えた数なのかは説明されないまま使われがちです。この記事では、その数字の出どころと使いどころを最初から追い直します。読み終えると、関数の複雑度を手で数えられて、その数字を何の判断に使えるのかを説明できるようになります。コード例は Swift ですが、分岐の数え方はどの言語でも変わりません。 サイクロマティック複雑度とは何を数えた数かサイクロマティック複雑度とは、プログラムの処理の流れを図に描いたとき、その図の上で取れる独立した経路の本数を数...

こんにちは、miisan です。突然ですが、私は令和トラベルに所属してから4年間毎月、新しく入社するメンバーに「QAオンボーディング」をしてきました。対象はエンジニアだけではありません。ビジネス職も、カスタマーサポートも、バックオフィスのみなさんも、職種に関係なく、入社したメンバーには必ず、オンボーディングを続けてきました。そんなコンテンツを役割の変化から手渡すことになったので、スタートアップの初期からQAオンボーディングをやってきた経験は貴重なのでは？と思い、このタイミングで残しておきたいと考えましたこのブログでは、4年間で学んだこと、意識してきたこと、そして、これからもさまざま...

はじめに前職は製造業で、装置の設計をしていました。いまは Claude Code を相棒に、Wizardry風の3DダンジョンRPG「Abyssgate」（仮題）を個人開発しています。このアカウントではこれまで、開発を5フェーズに分割してセッションを使い捨てる話や、1タスク1AIで実装させて報告を検収する話を書いてきました。どちらも「AIとどう働くか」という運用の話です。今回はその土台の話をします。あの運用は、AI開発の知見から生まれたものではありません。前職で私が出した1件の不具合から来ています。 図面は正しかった。装置は組み上がらなかった前職で、ある装置の設計を担当し...

Automated code generation is becoming an important tool in quantitative finance, where large language models can generate option pricing implementations directly from mathematical model specifications. Validating such implementations, however, requires considerably more than conventional software testing: numerical pricing methods must remain mathematically consistent, numerically stable, and reliable across a wide range of model parameters. We introduce RIDGE, an autonomous validation framework

Most adults have Googled some version of "can I still grow taller" at some point — usually after a late-night spiral through supplement ads or a suspiciously confident Reddit thread. The claims out there are bold. The evidence behind them is not.Here's the short version: once your growth plates ...

この記事は、CYBOZU SUMMER BLOG FES '26の記事です。 こんにちは！2026年4月にキャリア入社した、QAエンジニアの いこ（@ico_penjelly） です。 前回担当した記事では会社全体についての私の所感を書かせていただいたのですが、今回はQAの一員として、サイボウズのQAについて書いてみます。 ……と言いつつ、私はまだ入社4か月目。サイボウズQAのすべてを知っているとはとても言えません。 なので今回は、転職してきたばかりの私の目に映った「ここがすごい」を3つに絞って書きます。外から来たばかりの今だから感じられる驚きもあるはずと信じて……！ 社外のQAの方にも、社内…

[特定非営利活動法人ソフトウェアテスト技術振興協会]JSTQB(ソフトウェアテスト技術者資格認定組織)は、2026 年 7 月 22 日 (水) に大規模アジャイルテストのリーダーシップ (CT-ATLaS) Version2.0.J01シラバスの日本語翻訳版を公開いたしました。■大規模アジャイ...

Enterprise regression testing for microservice systems is often constrained by incomplete or outdated documentation. In practice, QA engineers frequently rely on real execution traffic to reconstruct business scenarios; however, turning raw traffic into replayable regression tests with stable validation logic remains labor-intensive and error-prone. This paper presents NL2Test, an end-to-end approach and tool that generates executable API regression tests from (i) a natural-language scenario des

The complaint teams make about software testing at scale is almost always framed as a volume problem.Too many tests to write. Too many scenarios to cover. Too many services to test. The system has grown and the testing effort required to keep up with it has grown proportionally. The team is runn...