品質保証の重要性はわかっていても、現場では開発との調整や施策の優先順位づけで詰まりやすい。そのままだと、品質活動が場当たり対応になり、組織の信頼も改善速度も上がりにくくなります。品質保証を検査業務ではなく、組織を強くするためのマネジメントとして捉え直しやすかったのがこの...

◀前の記事へ 次の記事へ▶︎続きをみる

生成AIを組み込んだソフトウェアの評価では、出力の不確実性や柔軟性が大きいことから、対象をどう評価するかが定番の課題となります。その有望な対応手段にLLM-as-a-judgeがあります。 LLM-as-a-judgeは、生成AIの出力結果の評価・採点を、精度の高いLLMを使って実施する手法です。LLMの柔軟性を活用して、多数かつ幅広い評価の自動化が行えるようになります。 今回はそのLLM-as-a-judgeの実装例を解説します。評価の実装および実行環境は「生成AIアプリケーション評価入門」の解説を参考にしています。 LLM-as-a-judgeの評価者に使用するLLM 評価にはLLM-as…

要約著名な規約:PEP257: 命令形numpy: 命令形 (または戻り値を名詞で)Google: 命令形でも説明形 (三単現) でも OK筆者は命令形にしていますPEP257 と互換があるためRuff で確認できるためAI のドキュメント品質を Linter で容易に管理できるため余計なことを考える必要がなくなるため docstring 原則: 関数 docstring 最初の 1 行は「命令形から始めピリオドで終わる要約」にします関数 docstring 最初の 1 行は「命令形から始めピリオドで終わる要約」にします例:def f...

背景Rails でカスタムバリデータ(EachValidator)を追加することがあり、カスタムバリデータ自体を汎用的にテストできるヘルパーが欲しかった。https://railsguides.jp/active_record_validations.html#カスタムバリデーションを実行するhttps://zenn.dev/noraworld/articles/rspec-custom-validatorこちらの記事を参考にさせていただき、カスタムバリデータのテスト用のヘルパーを実装した。あまり差分はないのだが、若干工夫した点があるため記事に残しておく。 ヘルパー上...

2026年6月、あるポストが流れてきた。「正しくリファクタリングしようとするとドメイン知識が必須になり、顧客の文脈や要求まで遡る必要がある」という趣旨だ。この指摘は正しい。問題は「ではそのドメイン知識を、開発プロセスのどこに、どんな形式で保管するのか」が語られることが少ない点にある。知識の保管場所を間違えると、リファクタリングの前提になる情報そのものが腐敗する。AIコーディングエージェントが当たり前になった現在、この問題はさらに深刻になっている。本記事では、プロダクト開発で扱う知識を4種類に分類し、それぞれの適切な配置先を整理する。 知識には4つの種類があるt_wada...

はじめに 今後のAI時代に必要な「抽象を扱う力」とは 今後のAI時代において、抽象という領域を扱う能力は非常に大事なっていくと言われています。生成AIはコードやテストケースなど、それらを作る具体の作業を代替しつつあるため...The post 【第1回】分類学とアブストラクト（抽象化）〜AI時代を生き抜くための「思考の武器」〜 first appeared on Sqripts.

Windowsアプリは金融、医療、製造など多くの業界で広く利用されています。これらの業界では、セキュリティ対策が特に重要視されており、高品質なシステムを保つためには徹底したテストが欠かせません。しかしながら、Window […]The post Windowsアプリにおけるテスト自動化の壁と解決策 first appeared on テスト自動化ツール 『Ranorex』.

連載「変化に強いコードの作り方」第4回（全4回・最終回）「テストを書きたくない」と感じる場面は、私にも定期的にあります。ただ、その感覚を観察してみると、テストという行為そのものが嫌なわけではありませんでした。目の前のコードのテストが異様に書きづらいだけ、ということがほとんどです。DBを起動して、ファイルを置いて、後始末をして。確かめたいことは1行なのに、準備が20行ある。この書きづらさはテストの問題ではなく、設計からのシグナルだと私は捉えています。最終回の本記事では、連載で積み上げてきた設計の違いが、テストの書きやすさにどう跳ね返るかをコードと数字で確認します。この記事でわかるこ...

Appleの配布ポリシーの変更により、アプリケーションの配布および利用に関する制限が強化されました。これまでは、Ranorex（外部企業）が署名した各アプリケーション（例：RxServiceApp、RxBrowser、R […]The post iOS 証明書・プロビジョニングプロファイルの作成手順 first appeared on テスト自動化ツール 『Ranorex』.

はじめにこの記事は、AWSサービスと外部APIを組み合わせた構成のテストに悩んでいる方を対象にしています。k8s CronJob + AWS SNS + Lambdaで構成したディスク監視バッチを実装したとき、最初は全部つないでE2Eで動かそうとしました。しかし「Slackに通知が来ない」という現象が起きたとき、原因がどこにあるのか全く分かりませんでした。CronJobの判定ロジックなのか、SNSのPublishなのか、LambdaのSNSトリガー受信なのか、Webhookの呼び出しなのか。全部同時に動かしているので切り分けができません。そこで、段階的に検証範囲を広げるア...

In this paper, we report our experiences and takeaways from workshops using puzzles to learn CTL. Background: Software testing is important yet difficult to teach. We introduced a BoK of puzzle-based learning activities to teach CTL, based on a model of critical tester's cognition, leading to the pedagogical framework P4TEST. We conducted thirteen workshops with students, testers, teachers, and primary school pupils to assess puzzle-based teaching of critical testing literacy. Experience: Across

≡ はじめに「ドメイン分析」というテスト技法があります。続きをみる

まずは「社内ツールがバラバラ問題」を解決したい最近、AIでアプリを作る話は珍しくなくなりました。画面を作る。APIを作る。DBを設計する。この辺はAIがかなりの精度でこなしてくれます。でもふと思ったんです。AIだけで、実際に使えるSaaSは作れるのか？サンプルアプリではなく、ちゃんと運用できて、お金を払ってもらえるレベルのサービスです。そこで始めたのがBancha（ban.chat）というプロジェクトです。 BanchaとはBanchaは一言で言うと、「業務の司令塔」です。中小企業や小規模チームでは、業務ツールがどんどん増えていきます。S...

こんにちは。MagicPod カスタマーサクセスのHaradaです。「気づいたらAIクレジットをたくさん消費していた・・・」という経験をお持ちの方もいるのではないでしょうか？Autopilotを使いこなす⚠️ 注意：目次 -->目次クレジットを多く使うのはどんな時？効率化のコツを理解するには、まずAutopilotがどのようにクレジットを消費するかを知っておくことが大切です。「Autopilotが迷わず・失敗せず動ける状況を作ること」がAIクレジットの効率的な使用につながります。テクニック①：失敗が続いたらAutopilotを自動停止させるCopy※部分実行中に同じステップで2回目の失敗が発生した際、起きている現象と試行した内容をまとめてAutopilotの実行を止めること上記のように失敗時の上限やその時の挙動をプロンプトに付け足すのが１つ目のテクニックです。途中で失敗が連続して発生し、以下が出力されました。同じ種類のエラーが続いています。wait_visible（ステップ33）で失敗しています。これは formStep2 の要素が見つからない可能性があります。現在の画面が何の状...

連載目次車載ソフト開発で品質保証プロセスが根付かない理由品質保証はプロセスを監査するだけなのかレビューで確認したいのは成果物なのか思考なのかレビューの価値とは何かプロセスは思考を設計しているのか良い思考はどのように組織へ伝わるのか良い思考はどのように組織知...

E2Eテストを入れたいのに、書き方より先に「運用が壊れそう」という不安がある。そのままだと、テストは増えても失敗理由を追う負担ばかりが増え、チームに定着しません。Playwrightでどう始めて、どう壊れにくいテストへ育てるかを具体化しやすかったのがこの本でした。We...

こんにちは！satto workspace で QA エンジニアをしている中井知子です。今回は、AI エージェントを活用してテスト実装を加速させるための取り組みについて紹介します。テスト設計からシナリオ作成・テスト実装までを AI エージェントと一緒に進めることで、どこまで効率化できるのか、実際に試してみました。!この記事で伝えたいこと✅ AI エージェントに目的を持ったテストを作らせるには、テスト戦略が起点になる✅ リグレッションテスト → 機能テストの順に、段階的に AI 活用を広げた✅ 人間がやるべきことを絞り込むことで、数日でテスト実装まで完了できる ...

[特定非営利活動法人ソフトウェアテスト技術振興協会]JSTQB（ソフトウェアテスト技術者資格認定組織）は、2026年6月12日 (金) に Advanced Level シラバス 日本語版 テストアナリスト（CTAL-TA）の最新版、Version 4.0 を公開しました。本シラバスはソフトウェアテ...

テスト観点を軸にした品質サイクルのすすめ「テストが終わらない」——ソフトウェア開発に携わる人なら、一度はこの言葉を口にしたことがあるのではないでしょうか。リリース直前に湧き出るバグ、収束しない不具合、膨れ上がるテストケース。なぜ、テストはいつも終わらないのか。結論から言います。テストを「する」ことを目的にしているからです。テストケースを消化すること、カバレッジを上げること、全項目を網羅すること。これらは手段であって、目的ではありません。本当に問われるべきは、「そのテストは品質を上げているのか？」という問いです。この記事では、テストそのものではなく、テスト観点を軸にした品質サイク...

テスト観点を軸にした品質サイクルのすすめ「テストが終わらない」——ソフトウェア開発に携わる人なら、一度はこの言葉を口にしたことがあるのではないでしょうか。リリース直前に湧き出るバグ、収束しない不具合、膨れ上がるテストケース。なぜ、テストはいつも終わらないのか。結論から言います。テストを「する」ことを目的にしているからです。テストケースを消化すること、カバレッジを上げること、全項目を網羅すること。これらは手段であって、目的ではありません。本当に問われるべきは、「そのテストは品質を上げているのか？」という問いです。この記事では、テストそのものではなく、テスト観点を軸にした品質サイク...

プログラムが今、目の前で動いている。それでも、なぜテストを書くのでしょうか。よくある答えは「バグを見つけるため」です。間違いではありません。しかし、この説明だけでは、次の疑問に十分答えられません。自分で一度動かしたのに、なぜ自動テストも必要なのか型チェックやコードレビューがあるのに、なぜ実行するのかテストを書いてもバグが残るなら、何を達成しているのかどこまでテストすれば十分なのかテストコードの保守費用を払う価値はあるのかソフトウェア工学から見ると、テストは品質を証明する儀式ではありません。テストとは、ソフトウェアに入力を与え、振る舞いを観測し、期待とのずれを調べる...

Androidのセキュリティ機能は、疑わしい通話、危険な操作、アプリや端末状態に関する警告を強化しています。これはユーザー保護として重要です。ただし、サポート、QA、EC運用、社内トレーニングの現場では、別の問題があります。1台のスマホが安全になるだけでは、チーム作業の記録、再現、引き継ぎ、複数端末の比較までは整理できません。この記事では、Androidの保護機能と、PC/Macから実機Androidを扱うワークフローを分けて考えます。 Android側の保護機能が担当することAndroid側の保護機能は、主に端末ユーザーを守るためのものです。不審な通話や詐欺的な状況に気づ...

自動テストが普及した現在, 自動テストそのものに生じる問題が顕在化してきました. 遅いテストや flaky test といった問題です[1].そこでテストにおいても観測可能性が重要になってきます. そうです OpenTelemetry(OTel) ですね.OpenTelemetry を活用することで言語やテストフレームワークに依存せず自動テストの計測ができ, 計測と集計, 表示をそれぞれ自由に設定できます. またプロダクトコードの計装と組み合わせることで, より深い調査ができます.今回は GitHub Actions などのCI上での自動テスト実行における計測を考えます. 集計には...

新しい技術は、できるだけ最新版で触るようにしている。ただ最新のメジャーバージョンは変化が速く、ネット上の解説記事の多くが1つ前の版を前提にしているため、そのままでは動かない場面によく出くわす。そこで、自分が実際に詰まったエラーと解決方法を、原因まで添えて残しておく。同じところで困った人の時間が少しでも減れば。 この記事で扱う落とし穴#症状バージョン1テスト用の機能が「見つからない」エラーになるSpring Boot 42いつも使う設定のまとめが見当たらないSpring Boot 43これまでの書き方が「非推奨」と警告されるSpring ...

ある実装について何を行っているのかを、AIエージェントに 調査・説明させたい ことがありますよねでも実際に説明させてみると、ダラダラと 長文を書いて要領を得ない ことがしばしばあります 🟦 便利なプロンプト以下の一文を入れると、読みやすくなります「手続き」ではなく「振る舞い」中心に説明してサンプルを示すつもりでしたが、後述の理由[1]で省略します。皆さんが普段関わっているコードで試して頂くのが良いかと思います。 🟦 「手続き」「振る舞い」とは？手続き（procedure）順序立った作業・処理を意味します振る舞い（behavior）外部から見てどのよ...