「社長は私（人間1人）、社員は全部Claude」という会社の運営記録、6回目です。前回の Day 5 では、Webアプリ1本目に「あなたの仕事、AI社員に何%任せられる？診断」を選んだ理由を書きました。今回は予告どおり、AI社員が書いたその判定ロジックを、約66万通りの回答すべて でテストして確かめた話です。!この記事のまとめ10問の回答の組み合わせは 663,552通り。テストで全部回し、16タイプすべてに届くこと・結果が偏りすぎないことを確かめた配点は「どの設問も、選択肢の点の平均がちょうど0」。だから全パターンの平均は、土台の40点にそのまま一致する今の配点での中央値...

月ごとの売上レポートに、「支払い済みの合計額」と「全取引に占める支払い済みの件数割合」を載せるとします。CSVから、指定した月の二つの値を計算するPython関数を作ります。動作を確かめるため、まず10月の支払い済み売上1200を一件だけ渡します。結果は合計1200、支払い済みの割合100%でした。そこへ、同じ10月の未払い800を一件足します。合計額は1200のまま、割合は50%になりました。支払い済みは2件中1件なので、これも正しい結果です。ところが、「未払いを足しても結果は変わらない」というテストを、合計額と割合の両方に当てはめると、割合のテストが失敗します。関数が正しくても...

開示：この記事はYan Wang / LensUp向けにGPT-6.1 Terraで大部分を下書きし、Codex AIがソースと事実関係を編集しました。製品説明と実装ソースの確認に基づきます。以下は検査案であり、PDFを使った実行結果やセキュリティ監査ではありません。Yan...

開示：この記事はYan Wang / LensUp向けにGPT-6.1 Terraで大部分を下書きし、Codex AIがソースと事実関係を編集しました。製品説明と実装ソースを確認したもので、以下のサンプルと検査は提案です。PDFの実行検証やセキュリティ監査は行っていません。...

はじめに 技術系カンファレンスでは、一般公募（プロポーザルの募集）を行い、運営が審査して採択をする形式があります。 私は昨年、普段プロポーザルを提出し採択されている経験と、プロポーザルの採択者としての経験を基に、プロポーザル提出時に気にすべきポイントを記事にしました。 nihonbuson.hatenadiary.jp ただし、このような記事を書くと、 普段から気にしている人はさらに取り入れてくれる プロポーザルを提出したことがない人や、プロポーザルを提出しているが中身をあまり精査できていない人は、記事の読者対象にしたい人にも関わらず読んでもらえない とった状況を生み出します。 そこで、プロポ…

はじめにコードは、ほとんど書いていません。それでも、品質の責任は自分にあります。英単語学習アプリ「Word Spell Master」を1人で開発し、2026年9月19日に App Store で公開しました。このアプリは、世界最大級のハッカソン「RevenueCat Shipaton 2026」（参加者3万人弱）で、最終選考に進出しました。コードの大半は AI（Claude Code）が書いています。私の担当は、次の4つです。設計の方針を決める受け入れの基準を決めるAI が出した変更を、その説明・テストの結果・実機での動きで確かめて、取り込むかを判断する出してよい...

AIにテストを書いてもらうと、プルリクエスト（PR）のテストはたいてい全部緑で上がってきます。緑であること自体は、レビューの材料としてはあまり役に立ちません。そのテストが仕様のどの条件を確かめているのかが分からないからです。私たちのチームでは、AIが書いたコードと、単体テストとE2Eテストを同じPRに入れています。レビューは、テストのファイルを開く前に、PRの説明欄にある「完了条件とテストの対応表」から読み始めます。この記事では、その表の形と、表を見ながらテストを読むときの問いを、小さなコード例と一緒に書きます。コードと表は、この記事のために作った例です。実際の案件のものではありませ...

AIに作ってもらった業務ツールが、正しい金額を出力した。元データと照合しても一致している。エラーも表示されない。それでも、その処理を完了としてよいとは限りません。例えば、支払依頼の金額が正しくても、責任者の承認を受ける前に支払データが作成されていたらどうでしょうか。数字は合っています。しかし、業務上必要な手順を守っていません。今回は、AIエージェントの動作を検証する海外の公開事例をきっかけに、処理結果だけでなく、業務上の承認条件をどう確認するか考えます。後半では、架空の支払依頼を使い、承認状態と停止理由の4ケースをPythonで確認します。さらに承認チェックが欠落した不具合版を実行し...

はじめに個人開発している技術記事キュレーションサービス「DevPick」で、検索エンジン向けの/sitemap.xmlが、障害もデプロイも無い時間帯に最初の1回だけ503を返していました。これを直す修正を入れたところ、デプロイ直後から今度はsitemapのAPIが500を返し始め、約17分間sitemapを取れない状態になりました。原因は、修正で使ったMySQLのMD5()が、本番のMySQL 9.7には無かったことです。テストは8,895件すべて通っていました。この記事では、503を直すときに何を選んだのか、なぜその変更がテストをすり抜けたのかを書きます。 最初の1回だけ...

暗号資産の自動売買Botを作っています。口座2万円ほどの少額で動かしながら、検証と本番の動きが一致しているかを毎週点検しています。今回は、ある小さな変更を入れるかどうかを決めるために同じ問いを4回測り、4回とも違う答えが出た話です。どの回も、その時点では「ちゃんと測った」と思っていました。間違っていたのは変更ではなく、毎回の測り方でした。 1. 問い: 追加で入金したら、順張りの枠を買い増すべきかBotの資金は大きく2つに分けています。順張りの枠: BTCが100日平均より上にある間(以下「レジームON」)、総資産の40%を目安にBTCなどを持ち続ける逆張りの枠: 急...

LLM部分をmock化したIT・E2E・smokeテストで、LLM以外のロジックを検証していました。UTも各所でカバレッジ100%。それでも、LLMへ渡るコンテキストは検証できておらず、推論して返すレポートの品質も担保し切れていませんでした。そこで業務ケースに基づくQATを用意すると、今度は、条件に照らせば妥当な分析を評価用のLLMがNGにすることがありました。出力を検証する仕組みを作った後も、評価する側を保守する必要があった、という話です。現場で開発に携わっていたのは、社内システムなどのデータを取得・分析し、レポートを返すチャット型AIエージェントです。私は設計やADR（設計上の意...

AIが生成したコードはテストを通過し、画面でも期待どおりに動いている。それでも、更新してはいけない注文までキャンセルされる実装だったら、承認できるでしょうか。AIコーディングツールを使うほど、レビュー対象のコードは増えます。細部まで確認する時間を確保するのも簡単ではありません。私なら、実装の細部を追う前に、AIがどんな業務上の前提を置いてコードを書いたのかを確認します。架空の受注管理システムを例に、レビューで確認したい5つの前提と、その確認を効率よく進める手順を整理します。 テストが通っても、要求を満たしたとは限らないコードレビューでは、条件分岐、例外処理、型、テスト、セキ...

はじめにWebアプリの新規開発で、Codex の Agent Skills を使って「既存のソースコードから仕様書を作り、その仕様書からテストを作って実行する」までを一つの流れにまとめました。この記事では、その仕組みと、やってみてうまくいかなかったこと・工夫したことを書きます。 どんな状態だったか技術スタックは TypeScript / Next.js / MUI / Prisma / PostgreSQL です。ソースコードはあるものの、画面仕様書・API仕様書・テスト仕様書はまとまった形で存在せず、仕様は一部の人の頭の中にしかありませんでした。そんな中で、単体テストの...

iPhoneアプリを一人で作っている Atsushi です。アプリのコードはほとんど Claude Code に書いてもらっていて、テストも AI がコマンドで流しています。AIにテストを回させると、速くて便利です。一方で、「テストは全部通りました」と言われたのに、実は動いていなかったということが何度かありました。この記事では、複数のアプリで AI にテストを回させてきて分かった、回し方のコツと、テストが通っても見逃したものを紹介します。 1. ふだんは小さく、出す前に全部 直すたびは、直した所のテストだけテストを全部流すと、アプリによっては UI テストだけで30分以上...

開催日時: 2026/12/12 12:50 ～ 18:00<br />開催場所: オンライン<br /><br /><h1>オンライン開催</h1><p>「ソフトウェアテスト自動化カンファレンス2026」はオンライン開催になります。<br>コミュニケーションの手段として下記のツールを利用します。どちらも無料でご利用いただけます。</p><ul><li>Discord（スケジュール、講演中のコメント、Ask the Speaker）<br> <a href="https://discord.com" rel="nofollow">https://discord.com</a></li><li>Zoom（講演のストリーム配信）<br> <a href="https://zoom.us" rel="nofollow">https://zoom.us</a></li>...

はじめに僕が個人開発している恋愛相談アプリ「Lovady」で、AI で書いたテストをとりあえず E2E に入れていたところ、CI が 1 回 2〜3 時間かかり、develop ブランチにマージするまで毎回 2 時間ほど待つようになりました。この話を X にポストしたら思っていた以上に反響があったので、Codex と一緒にテストを分け直したときの判断基準を改めてまとめてみました。https://x.com/suna_gaku/status/2114984522957943146分け直して感じたのは、「何を保証するために、どこまで動かす必要があるか」でテストを選ぶと、E2E で確...

◀前の記事へ 次の記事へ▶︎続きをみる

まだちゃんとした告知はできていませんが、WACATE 2026 冬は12/19,20に開催予定です。 セッション内容の検討は既に始まっています。 開催申し込みページは鋭意作成中ですので、もう少しお待ちくださいませ！投稿 WACATE 2026 冬は12/19,20に開催予定です！ は WACATE に最初に表示されました。

サマリーAI全盛の今、QAの方だけでなく、エンジニアもQAする時代が本格的になってきました。ただ、AI は計画に書かれたとおりに実装します。計画に書かれていないことは実装しません。コードベースを読んで初めて見つかる要求の穴があります。ですので、この記事ではその穴を実装の前に見つける方法を紹介します。自分はこれを define-done という Agentスキルにしています。題材のリポジトリは https://github.com/YasuakiOmokawa/skills で公開しています。 計画どおりに実装しても壊れる例次の例はスキルの評価用に作った架空のものです。利用...

自分の声で英語を喋らせたい、という機能を作ろうとしている。TOEICの学習アプリで、自分の声のまま、正しい発音のお手本を聞くという用途だ。やり方は2つある。声の量GPU3ヶ月の費用（AWS東京・実価格から計算）ゼロショット（追加学習なし）30秒数秒約6,000円ファインチューニング10分〜1時間数時間 × 試行回数約17,300円ゼロショットで足りるなら1/3で済む。 では足りているかを、どうやって判定するのか。普通はこうなる。モデルAで作った → 「お、似てる気がする」設定を変えた → 「さっきよりいいかも？」参照音声を...

結論：この3つを確認する# 1. .env.local に本番 SERVICE_ROLE_KEY が入っていないか確認grep 'SUPABASE_SERVICE_ROLE_KEY' .env.local# 2. Playwright テストの webServer が本番 URL を参照していないか確認grep 'SUPABASE_URL' playwright.config.ts# 3. テストデータの cleanup コードがあるか確認grep 'globalTeardown\|DELETE.*TEST' tests/.env.local に本番 SERVICE...

月ごとの売上を集計するために、Python関数を作るとします。CSVから、指定した月の支払い済み金額を合計する関数です。動作を確かめるため、10月の支払い済み売上1200と、9月の支払い済み売上900をサンプルにします。今回は10月分を集計するので、答えは1200になるはずです。最初に10月の一件だけを渡すと、結果は1200でした。ところが、9月の一件を加え、集計対象は10月のままで実行し直すと、結果は2100。9月分まで合算されてしまいました。さて、何が原因だったのでしょうか？それは、月の指定を処理に使っていなかったことです。10月の一件だけで試しても、この誤りは表に出ません。...

はじめに船長（せんちょう）と申します。最近、AIに実装を任せてソフトウェアを作ることがほとんどになりました。やりたいことを伝える。設計を壁打ちする。実装してもらう。すると、言った通りのものが出てくるんですよね。動かしてみても、ちゃんと期待通りに動く。すごい時代です。でも、なんか不安なんです。やりたいと言ったことは、たしかに実現されてる。なのに「じゃあこれでリリースしていいよね？」と言われると、自信を持って頷けない。何が不安なのか自分でもよく分からず、ここ最近ずっともがいていました。仕様書を文書じゃなくてテストにしてみたり、AIにフローチャートを描いてもらってレビューし...

はじめに温度センサーの値をRaspberry Piで受け取り、データベースに保存して、ブラウザに表示する。IoTシステムを作ると、画面に値が出た時点で「動いた！」と安心してしまいがちです。でも、画面に値が表示されることと、その値が正しいことは別の話です。センサーの値は、読み取り・通信・保存・計算・表示と何段階も経由して画面に届くので、どこかで値がずれていても、画面だけ見ていては気づけません。この記事では、IoTシステムで「センサーの値が本当に正しいか」を確かめるための考え方と、具体的な方法をまとめます。 「表示される」と「正しい」は別のテストテストで確かめることは、大きく...

FakerとファクトリでテストデータをリアルにするPHPテスト術 概要PHPのテストで「テストデータをどう用意するか」は品質と保守性を大きく左右します。['name' => 'test', 'email' => 'a@a.com'] のようなベタ書きは書き始めは速いものの、カラムが増えるたびに全テストへ波及し、境界値のバグを取りこぼします。本記事では Faker で現実味のあるダミーデータを生成し、ファクトリで「意味のある1件」を再利用可能な形に組み立てる方法をハンズオンで示します。Laravelのモデルファクトリを主軸にしつつ、フレームワークに依存しない素のFa...

はじめに正直に告白する。最近、僕は「もうクソコードでもいいや」と思い始めている。長年エンジニアをやってきて、責務をシンプルに分離して書けたときの気持ちよさは知っている。クラスの役割がきれいに分かれて、名前がしっくりきて、変更が一箇所で済む。あの感覚は確かに快感だ。でも、その快感の下には、もっと根っこの本音がある。「結局、動けばいいんだよな」 という本音だ。 きれいなコードの効果、本当に測れてる?きれいなコードには効果があると、ずっと信じてきた。継続開発が楽になるメンテナンスしやすいバグが減るオンボーディングが速い全部「そう言われている」。でも、それが自分のプ...

はじめに続きをみる

こんにちは。QAコンサルタントのテストのひろさんです。 本記事では、テスト進捗自体は順調なものの、現場の役割にミスマッチが生じていたプロジェクトの改善事例を紹介します。当時テストPMだった私が、JSTQB AL-TM v...The post 心理的安全性とガバナンスを両立させるテストチームの改善事例 first appeared on Sqripts.

はじめにフロントエンドの実務で「何をどこまでテストすべきか」と悩むことは多いでしょう。生成AIの活用でテスト作成は容易になりましたが、AI任せにするとモックだらけの形骸化したテストになりやすいという課題もあります。本記事では、Vitestの基礎やモックの適切な使い分けに加え、ISTQBの原則を基にしたテストケースの選び方、Vue3での実践的単体テストを解説します。保守性や網羅性を見直したい方に役立つ内容です。 テストの目的項目補足不具合の検出---変更による不具合の防止---仕様の明確化期待する動作が曖昧な箇所を見つけ、関係者間で認識を合...

APIが不正なJSONやnullを返したときに、成功した結果として扱わないための処理を紹介します。HTTPのステータスが200でも、画面で使えるデータが届いたとは限りません。JSONを読めなかった場合にnullへ置き換えるだけでは、そのnullを正常な結果として画面へ渡してしまうためです。 JSONの読み取り失敗をnullにしたあと、そのまま返していたAPI呼び出しは共通の request<T>() にまとめています。修正前は概略として、次の流れでした。const payload = await response.json().catch(() => null...

!この記事は、2026年10月時点で調査・検討している段階の内容です。まだ運用は始まっておらず、ここに書いた設計が正しいかどうかも確かめきれていません。「こうすればうまくいく」という記事ではなく、検討中の考えを共有する記事として読んでいただけるとうれしいです。 はじめにこんにちは！アルダグラムでQAエンジニアをしている千葉です！アルダグラムでは、現場DXサービス「KANNA」を開発・提供しています。KANNA の E2E は Playwright で書いていて、プロダクトとは別のリポジトリで管理しています。突然ですが、E2E はいつ回すのが理想でしょうか。開発中に、変更に...

SREホールディングス株式会社でプロジェクトマネージャ（PM）をしている鍋谷です。「AIにテストを手伝わせたい。でも、AIの『できました』はどこまで信用していいのか分からない」そんなモヤモヤ、あなたのチームにもありませんか？本記事では、Claude Code で「AIのQAチーム」を組み、社内の業務SaaSで1か月、手動の機能テストを回してみた結果として、AIだけが見つけた不具合、AIが見逃した不具合、そしてAIが自信満々に出してきた誤指摘をどう捨てたかを紹介します。 結論Claude Code のスキルとサブエージェントで「リーダー1・テスター複数・懐疑的な検証者」のQA...

[特定非営利活動法人ソフトウェアテスト技術振興協会]JSTQB（ソフトウェアテスト技術者資格認定組織）は、2026 年 10 月 28 日（水）に Specialist シラバス 日本語版 生成AIを使用したテスト（CT-GenAI）Version 1.0 J01 を公開しました。本シラバスは、大規模言...

今回から新連載「テスト会社に勤めるって実際どうなの？～事業会社QA・ツールベンダー”も”経験して見えたこと～」をスタートします。 私はこれまで、いわゆる「テスト会社」と「事業会社」、そして現在の「...The post 【第1回】”テスト会社”の内外で言われていること first appeared on Sqripts.

Large language models (LLMs) are often conditioned into specific roles such as tutors, interviewers, or agents acting for an organisation, through system prompts that specify how they should behave. The extent to which they can actually adhere to these role specifications under multi-turn interactions with realistic and potentially problematic users is understudied. To address this, we propose user behaviour fuzzing, a guided search over plausible user behaviours that can lead a model to violate

生成AIの進化によって、ソフトウェアテストや品質保証（QA）の現場にも大きな変化が訪れています。テストケースの作成やテスト実行の自動化が進む中、これからのQAにはどのような役割が求められるのでしょうか。2026年9月18日に開催されたソフトウェアテストシンポジウム「JaSST'26 Niigata（Japan Symposium on Software Testing Niigata 2026）」において、ポールトゥウィン QAソリューション事業部の沢崎 育久が、「AI時代のQA Re-Engineering ～テスト担当から品質アーキテクトへ～」と題した講演を行いました。続きをみる

開催日時: 2026/12/02 19:00 ～ 20:30<br />開催場所: 港区麻布台1-3-1(麻布台ヒルズ森JPタワー)<br /><br /><h2>既存プロセスを壊さずに、AI駆動開発を成立させる（Agile in Motion vol.7）</h2><p>アジャイルではどうやって品質を担保したらいいのか？品質にこだわってきたSHIFTならではの目線で、アジャイルの神髄に迫る Agile in Motionシリーズ。</p><p>今回は、東北電力株式会社 DX推進部より金澤綾美氏をお迎えし、石橋を叩きながら渡る大企業での「AI駆動開発×アジャイル」の事例をご紹介します。既存の開発ルールや承認ゲートを変えず、稼働中の規制産業システムにAI駆動開発とアジャイルをどう成立させたのか、その具体的な工程を深掘りします。受入条件の二層化（人が価値を決めAIが網羅性を埋める）や、13の標準ステップ（チケット進め方の固定）、三層テスト（VRT・E2E・Unit）の設計と効果の測り方、さらには...

はじめに こんにちは。SmartHRでQAエンジニアをしているnotchです。 私が担当しているプロダクトでは定期的に不具合を振り返っていたのですが、得られた知見を次の仕様やテストケースのレビューに十分生かせていませんでした。 今回は、その知見をレビュー観点として整理し、3層に分けて蓄積・活用する仕組みと運用を紹介しようと思います。 解決したい課題 不具合の振り返りで得た知見をレビューで生かすには、個々の事象を「何を確認すべきか」という観点に整理し、必要な場面で参照できるようにする必要がありました。 しかし、そのための継続的な運用が定まっておらず、せっかく不具合から得た知見を十分に反映できてい…

山下さんへ 山下さん、第1回の書簡をありがとうございます。同じ「ゆうすけ」として（それではない、と釘を刺されましたが）、バトンを受け取りました。 読み進めるうちに、この一文で手が止まりました。「かつて、私はその居心地の悪...The post 【第2回】AI時代に、「場」を通してつながる②～収支を数えるのをやめたとき、場が見えてきた～│専門家2人による往復書簡 first appeared on Sqripts.

連載ストックリスト：Android版「見開きPDFビューア」開発記録この記事は、ChatGPTとの壁打ちと、Android Studioに保存されたGeminiの会話履歴、Gitの変更履歴・ソースコード、手元に保存された実行ログの調査をもとに作成しました。初稿につ...