はじめに生成AI（LLM）を使ったサービスが爆発的に増える中、QA（品質保証）の現場では、かつてない壁に直面しています。「これまでのテスト手法だけでは、AIのリスクを抑えきれない！」という実感を持つ方も多いのではないでしょうか。AIシステムには、従来とは異なる特有のリスクが潜んでいます。非決定性: 同じ入力でも異なる応答をすることがある無限の入力パターン: ユーザー入力の多様性が無数に存在するハルシネーション: もっともらしいが事実と異なる回答をしてしまうセキュリティ: プロンプトインジェクションによるシステム制御の乗っ取り従来のQAが「仕様通りに動くか」...

はじめに前回、Seleniumでブラウザ操作ができるところまで触ってみました。今回は「テスト」として使うため、実際に簡単な自動操作処理を書いてみたときの記録です。自分なりに勉強しながら書いているため、間違いや、一般的・実務的ではない方法を使っている可能性があります。（コメントなどで教えていただけると非常に助かります！）今回はこちらの自動テスト練習用サイトを使わせていただいて、自動テスト作成の練習をします。ひとまず前回までに学んだ事を使ってアカウント作成、ログインまでの流れを自動化します。 実装 準備pythonとseleniumが動かせる環境を作ったらファイルを...

ソフトウェアテストシンポジウム 2025 東京（3/27-/28）に参加したレポートです。 予防QAの考え方と取り組み参考：株式会社ナレッジワーク予防QAとは、ナレッジワークの価値観の一つで「テストで品質を守る」より「バグを予防して品質を高める」ことを目指す考え方。ナレッジワークのQAが大切にしている価値観｜Knowledge Work Developers Blogナレッジワークでは予防QAの考え方をもとに、以下の3つの取り組みを行っている。 1. バグのリスクの考慮機能実装前（デザイン作成）の段階で、PdM/開発者/QAの視点でリスクを考える。仕様書の内容を詰めて...

悩めるQAエンジニアのあなたに自信をQAエンジニアである自分の部下や仲間と話をしていると、ふとした瞬間にこんな光景を目にすることがあります。他の開発職の方々を仰ぎ見るように「エンジニアさん」と呼んでいたり、「もっとエンジニアらしくなりたい」と意欲的にGASやJavaScriptの学習に励んでいたりする姿です。もちろん、新しい技術を学び、武器を増やす姿勢は素晴らしいことです。 それ自体は、プロフェッショナルとして非常に立派なことだと心から思います。しかし、その一方で私の中には一つの素朴な疑問が湧いてくるのです。「あなたは今この瞬間も、十分にエンジニアリングを体現している立派な...

はじめに前回、Seleniumに期待しすぎていた話を書きました。今回は、実際に少し触ってみたときのログです。 実際にSeleniumを触る今回はSeleniumでブラウザを立ち上げ、最低限の操作ができるところまでを目標に触ってみます。 Seleniumをインストール今回はpython（version3.14.2）を使います。JS（Node.js）やJava等でも使えますが、pythonが主流みたいです。pythonはWeb検索してインストール済みです。ということでseleniumインストールpip install seleniumpip : 用語 'pip' は...

はじめにQAエンジニア（テストエンジニア）1年目の人間が、手動テスト中心の業務の中で「テストを自動化したい」と思って調べたときの記録です。 Seleniumとはすでに知っている方も多いと思いますが、自分の理解整理のために簡単に書いておきます。Seleniumは一言でいうとブラウザを人間の代わりに操作してくれる自動化ツール。ブラウザを開くURLにアクセスログインするフォームに文字を入力ボタンをクリック結果を確認こういった操作をプログラムに沿って自動で行なってくれる。Webスクレイピングや自動テストのためのツールとしてよく用いられている。 やりたいこと...

背景と動機個人開発でも業務でも開発をしている中で、切り離せないのはQA（品質保証）です。せっかく作ったソフトウェアも品質が保証されずバグだらけではユーザーの信頼を得られないからです。https://ja.wikipedia.org/wiki/品質保証個人開発では機能を作るだけで精一杯で、QAは後回しになりがちです。結局、自分でちょっと触って動けばそのままリリースすることが多いです一方、業務では品質を守るためにQAは欠かせませんが、修正 → QA → 再QA という流れの中で、開発が思うように進まないと感じることもありました。「品質を担保するコスト」は思っている以上に大きい...

はじめに2026年1月23日に株式会社 アジャイルウェア 大阪本社オフィスで開催された testingOsaka #7 に参加してきました。testingOsakaは2回目の参加になります！testingOsakaでは毎度おなじみのスライド 参加前の私参加前はアジャイルテスティングについての知見はほぼありませんでした。（「アジャイル開発のなかでどうテストするのか？」という話なのかなと思ってました。。）ですが、今回のワークショップを通じて、よく耳にする「品質の作り込み」や「Shift Left」という言葉の解像度が上がり、「あ、こういうことか」と少し見えた気がしました。...

TOKIUMの＿10.4です。QA歴は約2年で、3つの開発チームを担当するQAのチームリーダーをしています。QAチームに所属する前は営業→社内オペレーションの管理・運用部署と、2つの部署を経験してきました。「ユーザー目線で考えよう」と言われても、どうすればいいかわからない。そんな悩みを持つ方に向けて、私の経験をお伝えします。 「ユーザー目線」は、どうやって手に入れるのか──営業の経験を経てQAになった私が気づいたこと「ユーザー目線で考えよう」QAの現場でも、プロダクト開発の現場でも、この言葉は何度も繰り返されます。ただ正直、言うほど簡単じゃないと感じたことはありませんか？仕...

品質を「感覚」で判断していませんか？「このくらいテストすれば大丈夫でしょ」リリース前、その判断の根拠は何ですか？ベテランの勘？過去の経験？なんとなくの感覚？それらは大切です。でも、チーム全員で共有できる基準にはなりません。新人エンジニアに「どのくらいテストすればいいですか？」と聞かれて、明確に答えられますか？「テストカバレッジ80%以上」「クリティカルバグゼロ」「レスポンスタイム500ms以下」こうした数値化された基準があれば、誰でも品質を判断できます。これが「メトリクス駆動QA」です。 なぜ今、メトリクス駆動QAが必要なのか 1. リモートワーク...

テスト計画、QAメトリクス、KPIダッシュボード、リリース判定基準、バグ管理プロセスまで、品質保証の全てを実践的なテンプレートとツールで学ぶ完全ガイド。Grafana/Prometheus設定例付き。

要約手動用のテストケースをそのまま自然言語で実行できるAIテストエージェントを作った実アプリのテスト42ケース中、64%は修正なしで実行できた既知・未知のバグ検出にも有効だった はじめに株式会社MIXIの開発本部&Romi事業部AIロボット開発グループの松谷です。E2E(UI)自動テストを作るのは大変ですよね。操作が必要な全ての要素のロケーターを取得して、それらを順番に正確に記載して、ようやく完成……と思って動かしてみるとなぜか押せないボタンが登場したり。不定期に現れるお知らせポップアップに四苦八苦したり。こんな苦労をしていると「自動テストが手元にある手...

こんにちは！アルダグラムでQAエンジニアをしているshige_sです私たちQAユニットでは、ノンデスクワーカー向けアプリ「KANNA」の品質保証を担っています。プロダクトが成長し、機能が増えるにつれて避けて通れなかったのが、リグレッションテストの肥大化という課題でした。この記事では、約5,000項目に膨れ上がったテストケースをどう整理し、リリース判定までの時間を大幅に短縮できたのかその試行錯誤と実践内容を紹介します。 1. 迫りくる「テスト項目5,000件」の壁 🏔️当初、KANNAのQA工程は以下の流れで進めていました。システムテスト設計テスト実施不具...

予約システムは「壊れ方」が一番わかりやすい予約システムは、最初だいたいこう始まる。空いている予約できる完了するPoCとしては十分。デモも通る。問題は、その先にある。 「同時に予約されたら？」は技術の話じゃない一番ありがちな想定外はこれ。同じ時間枠に、ほぼ同時に予約が入る。ここで多くの議論は、すぐ実装に寄る。排他制御を入れるトランザクションを張るロックをかけるもちろん必要。でも、それは後半の話。 先に決めるべき問いは、これだけどの予約が「正」になる？最初に来た人？最後に押した人？どちらも失敗？この答えが決まっていない状態で...

はじめに：パネルディスカッションに向けて、今考えていることナレッジワークでQAエンジニアをしている かとあず です。2026年1月23日（金）に開催される『QA Real Talks 〜QAの未来予想図〜』のパネルディスカッションに参加します。https://trident-qa.connpass.com/event/376814/今回のパネルディスカッションは3社合同での開催です。株式会社メドレー：米山 允章さん（パネリスト）株式会社MagicPod：伊藤 由貴さん（パネリスト）株式会社ナレッジワーク：かとあず（パネリスト）、tettan（モデレーター）パネルデ...

株式会社アイデアログの取締役CTOの松川と申します。今回は新規プロダクトのリリース前（新規プロダクトの話は別の記事で詳しく書く予定）に私自身がQAチームのプレイヤーとして結合試験、シナリオテスト、ユーザーテストなどのテストをやりまくったことで気づいたことを書きます。Zennの他のエントリーで書かれるような、ユニットテストに関するテスト手法に言及するものではありません。 結論 やってよかったと思えることがたくさんあった背景としては、昨年9カ月かけてとあるプロダクトを開発するにあたり、エンジニア組織の強化（採用・育成）を最優先に実施してきました。その傍ら、QAチームを組織化して並行で...

エージェント構造と既存技法の対応関係― 自然に統合されていた設計思想 ―この図は、私が実際に使っているエージェント構造と、それがどんな既存の設計技法と対応しているかを整理したもの。驚いたのは、意識せずに使っていた構造が、複数の設計思想と一致していたこと。 🧱 層構造と技法の対応 Brown（前処理）Clean Architecture: Data / Input LayerNLP Pipeline: Preprocessingマイクロサービス: Gateway / Normalizer Blue（生成）UseCase Layer / Domain ...

#13 エージェント同士の“対話”が生まれた瞬間― 協調フェーズの始まり ―前回は、MetaReviewer を中心にした自己改善ループが生まれ、エージェントが“自分で育つ”フェーズに入った話を書いた。しかし、ここからさらに進むと、エージェント同士が“対話”を始めるという、まったく新しい現象が起きた。これは、エージェント開発における協調フェーズの幕開けだった。 🗣️ 対話が必要になった理由エージェントが増えると、それぞれの役割が専門化していく。Blue系：生成が得意Green系：分析が得意Red系：評価が得意Meta系：改善が得意専門性が高まる...

#12 エージェントの“メタ化”と自己改善ループの誕生― 自分の弱点を理解し、改善し続けるエージェントへ ―前回は、品質フェーズでテストやレビューを導入し、エージェントの“壊れにくさ”を手に入れた話を書いた。しかし、ここからさらに進むと、エージェントが自分の弱点を理解し、改善し始めるというフェーズに入る。これが、いわゆる “メタ化” の始まりだった。 🧠 メタ化とは何か？メタ化とは、簡単に言うと：エージェントが自分の出力を評価し、改善点を抽出し、次に活かす仕組みを持つこと。つまり、「作る → 評価する → 改善する」というループを 自分で回せるように...

#11 エージェントの“品質”をどう担保するか？― 壊れない・ブレない・信頼できるエージェントへ ―前回は、エージェントが10体を超えたときの運用戦略を書いた。層構造やパターン化で“回る仕組み”は整った。しかし、ここから新しい問題が出てくる。「エージェントの品質をどう担保する？」「壊れたエージェントをどう扱う？」エージェントが増えるほど、“品質”はシステム全体の安定性に直結する。 🧨 品質問題は突然やってくるエージェントが10体を超えた頃、次のような現象が起き始めた。出力の精度が日によってブレる仕様変更に弱いエージェントが出てくる連携の途中で“壊...