直近1週間の更新
11/16 (月)

Claudeで試験項目の自動消化を試す
Zennの「Test」のフィード
序文SREホールディングス株式会社でエンジニアをしている八木です。今回はClaudeを使って、ソフトウェアの試験をどこまで自動化できるか検証してみました。テストでこんな経験ありませんか?自分で試験項目を作ろうとすると、仕様が難しくて予定工数をオーバーしてしまう。各機能開発を行う開発者に試験項目作成を依頼しても、成果物の試験項目の粒度がバラバラで手直し地獄になる。テスターが試験ケースの解釈を間違えて、再試験が必要になる。あるいは本当はNGなのに、誰も気付かずにOKで通ってしまう・・・。もうそんな時代も終わりなのかもしれません。 この記事で話すこと・Claudeを...
6時間前

AI に確かめさせる ― 手間で見送ってきた確かめ方を、全部やる
Zennの「Test」のフィード
はじめに「人のレビューを、どこまで無くすか」で、何を守り、どこまで人が見るかの決め方を書いた。要点は2つだった。守る物を、検査やテストや文書にして、仕組みとして入れる。そのうえで、人が見る物を、受け入れ(頼んだ通りに動くかを、実物で見ること)に絞る。その記事で、扱わなかった問いがある。決めた制約の下で、AI にどういう役割と順番で仕事をさせるか、である。本記事はそれを書く。本記事は、成果を3つの問いに分けて書いているシリーズの1本である。全体の地図は「人は決めるだけにする」にある。3つの問いは、当たるものを作っているか、壊していないか、どれだけ回せるか、である。本記事は、2つ目...
8時間前

AIエージェントでテスト自動化を始めよう:Claude CodeとMagicPod MCPでテストを作る・直す流れ
MagicPod Blog
こんにちは。MagicPodエバンジェリストのYoshiki Ito / 伊藤由貴です。MagicPodのMCPサーバーを使うと、Claude CodeなどのAIエージェントからMagicPodのテストを作成したり編集したりできます。とはいえ、「MCPと言われてもピンとこない」「AIエージェントに何と頼めばいいのか分からない」という方も多いのではないでしょうか。そこで本記事では、Claude Codeに「MagicPod MCPでテストを作りたい」と話しかけるところから、テストを作成して実行し、あとから修正するまでの流れを、会話の画面イメージに沿ってご紹介します。後半では、運用中に役立つ使い方として、不安定なテストを見つけて直してもらう例もお見せします。読み終えるころには、自分のプロジェクトで最初の1件を試すイメージを持っていただけると思います。なお、本記事に掲載している画面は、実際の操作をもとに作成したイメージです。組織名やプロジェクト名は架空のものに置き換えています。
12時間前

内製 Coding Agent "haro" と社内 GPU で、探索的テスト AI Agent をぶん回している
26
品質 - LayerX エンジニアブログ
探索的テストを、社内の Background Coding Agent「haro」と、社内 GPU で動かしている Qwen3.8-27B にまかせています。今回はその仕組みと、約 10 時間で 47 本のシナリオを回して分かったこと、そして「全部 Claude で回したらいくらかかるのか」をお話しします。
14時間前

週1回の売買で市場の倍近く勝つルールが見つかった。でも銘柄一覧を「当時知っていたもの」に替えたら消えた
Zennの「Test」のフィード
日本株のデイトレードBotを、実弾ゼロで検証しています。これまでに数百通り試して、デイトレではどれも基準を通りませんでした。そこで、時間軸を1週間に広げました。毎日の値動きを追わず、週に1回だけ売買するルールです。すると初めて、事前に決めた基準を通るルールが見つかりました。2025年からの1年9か月で+96.8%(市場は+55.9%)です。結論を先に書くと、このルールの成績の大部分は、検証に使った銘柄一覧の「先読み」から来ている疑いが強いと考えています。この記事は、それに気づくまでの記録です。 見つかったルール金曜の引けで、TOPIX500の銘柄から、過去10営業日の上昇率...
14時間前

第308回テストラジオ お悩み相談のコーナー「スマホどうしよう」から、社内なのに伝言ゲームの話まで #テストラジオ
テストラジオ
今回はまず、なその「スマホを買い替えようかな」というお悩み相談のコーナ …
14時間前

教材データにある数式が表示されない:描画関数の出力に回帰テストを足す
Zennの「Test」のフィード
教材の数式を見直していたところ、データには式と補足が入っているのに、ページにはどちらも出ていない箇所がありました。原因は数式の書き方より手前にありました。描画関数が、その項目をそもそも読んでいなかったのです。 データにあることと、画面に出ることは別教材の各ページは、見出し・本文・数式などをオブジェクトで持っています。描画関数はすべての項目を表示するのではなく、対応するキーを個別に読みます。次は実装の抜粋です。if (pg.formula) { w.appendChild(el('div', 'formula', fml(pg.formu...
17時間前

退職所得控除の重複期間、引き算の順番を間違えていた
Zennの「Test」のフィード
個人で iDeCo の受け取り方を試算するシミュレーターを作っています。その中の退職所得控除の計算に、5か月気付かなかった誤りがありました。引き算の順番が違う、というだけの話なのですが、条件によっては控除額が数百万円ずれます。しかもテストは全部通っていました。どう間違えて、どう直して、なぜテストが守ってくれなかったのかを書きます。なお、私は税理士などの有資格者ではありません。制度の説明は国税庁の資料に書いてある範囲にとどめます。 退職所得控除の計算式退職金や iDeCo の一時金を受け取るときは、勤続年数(iDeCo は加入年数)に応じた控除があります。20年以下: 40万...
20時間前
11/15 (日)

E2Eの記事を読んで、個人開発アプリのテスト方針を考えてみた
Zennの「Test」のフィード
はじめに個人でモバイルアプリを作っているのですが、最近はテストの整備も進めています🧪きっかけになったのは、こちらの2本の記事です。読んでみて、自分のアプリでもテストを整えていこうと思いました。最近の E2E 戦略(2026年10月現在)E2Eテスト大全(あなたの知らない、E2Eテスト周辺の理論)ただ、E2Eを整備するとして、ユニットテストや結合テストとはどう役割を分ければいいんだろう、と。今回は、2本の記事を参考に、個人開発のアプリでどういう方針にしたのかをまとめてみます。個別のテストコードよりも、「何をどこで確かめることにしたか」が中心です。 2本の記事から参考...
1日前

日科技連でシフトレフトについて講演
千里霧中
先日、品質管理や品質保証で言及される、ソフトウェア開発のシフトレフトをテーマに、日科技連の特別講義の講師の機会を頂きました。 今回は「シフトレフトは、ソフトウェア開発全領域のソフトウェンジニアリングの適正化である」をコンセプトとして、要件定義から設計、実装、テスト、運用、ビジネスの全領域を押さえる品質マネジメントのアプローチについて話させていただきました。 speakerdeck.comご機会を頂いた永田さん、大変ありがとうございました。 最近書籍執筆が落ち着いたこともあり、こうした講演の機会は喜んで対応させていただいています。お声がけいただけると幸いです。
1日前

FlociとAWS EmulatorでDynamoDBを動かしてみた
Zennの「Test」のフィード
はじめに普段、ローカルでのテストにはFlociを使っています。そんな中、AWS公式の「AWS Emulator」が新しくリリースされました🎉「公式のエミュレーターって、どんな感じなんだろう?」と気になったので、さっそく触ってみることにしました。今回はDynamoDBに絞って、普段使っているFlociと同じ操作を試しています。保存や検索に加えて、トランザクションも動かしてみました。 試した環境2026年11月15日に、Apple SiliconのMacとDocker Desktopで実行しました。項目バージョンFloci2.3.0AWS Emul...
1日前

常に空を返すスタブが、書き込み先の誤りを隠していた — 実装し終えた日に書式が壊れる寸前と分かった
Zennの「Test」のフィード
不動産の取引で使う公式の帳票(Excel)に、調べた値を自動で書き込む仕組みを作っています。帳票は200本ほどあり、改訂で行がずれるので、セル座標を書式ごとに表で持つのはやめました。代わりに「見出しの語を探して、その右にある入力欄を相手にする」という機械的な規則で当てています。災害に関する欄だけは、外部データが要るのでずっと後回しでした。取得する側は常に空文字を返すだけのスタブで置いてあり、画面には「要確認」と出ます。よくある作り方です。その中身を実装して、初めて本物の値が下流へ流れた瞬間に、書き込み先が入力欄ではなく □ で、しかも3項目とも「該当しない側」の□だったと分...
1日前

アプリケーションのバグをMECEに潰せないと不安になった時の思考法
ソフトウェアテストタグが付けられた新着記事 - Qiita
本記事の整理は、AIとの対話をもとにしている。一般論、私の判断、今回の環境での整理は、見出しのかっこで書き分けた。エグゼクティブサマリー1. 背景:ボトムアップでバグを直し続けることへの不安(今回の環境)最近、アプリケーションを構築している。現時点で、重...
2日前

AlphaProof Codeにみる形式検証とLLMの融合:Leanを用いた暗号実装の自動証明
ソフトウェアテストタグが付けられた新着記事 - Qiita
はじめにGoogle DeepMindから、ソフトウェアの形式検証(Formal Verification)をLLMエージェントによってスケールさせるアプローチ「AlphaProof Code」が発表されました(参照: Google DeepMind Blog)。発表に...
2日前
11/14 (土)

成果物を「デジタル化」して、期待どおりの品質を保証できないか
Zennの「品質」のフィード
同じ美容院で同じメニューを頼んでも、担当する人によって仕上がりが違います。車の整備も同じで、腕のいい整備士とそうでない整備士がいます。エンジニアの仕事も例外ではありません。同じ言語、同じフレームワークを使っていても、できあがるシステムの品質にはばらつきが出ます。資格はそろっていて、使う道具もそろっているのに、成果だけがそろいません。一方で、DX(デジタルトランスフォーメーション)という言葉は、IT ツールの導入やシステム化の話として語られることが多いように思います。私は、DX の狙いは組織や成果物を「デジタル化」することにあると考えています。ここでいうデジタル化は、コンピュータを使...
2日前

3本目のアプリを、2本目の共通部品で作った。そのまま使えたもの、直したもの、作り直したもの(Flutter)
Zennの「Test」のフィード
Flutter で個人開発のアプリを3本作りました。1本目は蔵書管理の本棚(hondana)、2本目は退去ノート、3本目は医療費と交通費のメモです。3本目は、2本目の退去ノートから部品を取り込んで始めました。何がそのまま使えて、何を直し、何を作り直したのかを、2つのリポジトリの同じファイルを diff で比べて数えました。共通パッケージにはしていません。ファイルをコピーしただけなので、コピーで困ったことも書きます。 数えた結果3本目の lib/ は全体で 6,577 行(50ファイル)です。このうち、退去ノートと同じパスにあるファイルは21個ありました。変えた量で分けると、次の...
2日前

Codeceptionではじめる PHPの受け入れ・機能テスト入門
Zennの「Test」のフィード
Codeceptionではじめる PHPの受け入れ・機能テスト入門 概要PHPのテストというと PHPUnit を思い浮かべる方が多いと思いますが、「ユーザーが実際に画面を操作したときに正しく動くか」を確かめる 受け入れテスト(Acceptance Test) や、フレームワークを通したリクエスト全体を検証する 機能テスト(Functional Test) は、PHPUnit だけだと書き方に迷いがちです。そこで役立つのが Codeception です。Codeception は「読みやすいシナリオ」でテストを書けることを重視した PHP のテストフレームワークで、次の3種類...
2日前

[OPT] 仕様どおりなのに、使いにくかった ── 個人開発アプリを公開後2日間で直した記録
Zennの「品質」のフィード
1. 概要前の記事では、配信の相棒アプリ「stream-buddy」を、実装を AI(Claude Code)に任せながらセキュアに公開した話を書きました。この記事はその続きです。v1.0.0 を公開してから v1.2.0 までの2日間、実際に使ってみて見つかったことを、どう直したかの記録です。今回のアップデートは、機能を増やすものではありません。使いづらいと感じたところを直す、軽い仕様の修正が中心です。大きな機能追加の案もありますが、v1.2.0 で区切りを付け、GitHub のマイルストーンに分けて進めることにしました。リポジトリ:Tsukimi-0919/stream-...
2日前

[OPT] 仕様どおりなのに、使いにくかった ── 個人開発アプリを公開後2日間で直した記録
Zennの「Test」のフィード
1. 概要前の記事では、配信の相棒アプリ「stream-buddy」を、実装を AI(Claude Code)に任せながらセキュアに公開した話を書きました。この記事はその続きです。v1.0.0 を公開してから v1.2.0 までの2日間、実際に使ってみて見つかったことを、どう直したかの記録です。今回のアップデートは、機能を増やすものではありません。使いづらいと感じたところを直す、軽い仕様の修正が中心です。大きな機能追加の案もありますが、v1.2.0 で区切りを付け、GitHub のマイルストーンに分けて進めることにしました。リポジトリ:Tsukimi-0919/stream-...
2日前

Workers の回数制限を KV で書いたら、テストは通り、本番では1回も断らなかった
Zennの「Test」のフィード
公立図書館の貸出状況を毎朝観測して記事にするサイト(借りどき)を、AI エージェントに運営させています。全体の構成は 前の記事 に書きました。サーバ側は Cloudflare Workers が1本だけです。11月に、本の検索と「LINE で知らせる」の登録を足しました。公開前のセキュリティ確認で回数制限を入れ、2回外し、3回目で効きました。1回目 KV で IP ごとに数える → 本番で 6 回とも通った(上限 5)2回目 Rate Limiting バインディング → 1 秒おき 40 回、1 回も断らなかった(上限 10)3回目 D1 ...
3日前
11/13 (金)

YOLO の追加学習にリグレッションテストを
Zennの「Test」のフィード
物体検出のモデルを追加で学習させると、全体の精度は上がったのに、以前は見つけられていた物を見逃すようになることがあります。こうした変化を見つけるために、同じ動画に対する学習前と学習後の検出結果を、フレームごとに比べる仕組みを作りました。ソフトウェア開発でいう「リグレッションテスト」を、物体検出のモデルに当てはめたものです。https://github.com/koshien2015/detection-regression小さくて速い物体を検出するモデルで試すと、次の3つが見つかりました。正解の枠の付け方と判定の閾値だけで生まれる「偽のデグレ」全体の精度が上がった追加学習の中に...
3日前

AIが「確認した」と報告したテストは、manifest の数値を書き換えても通っていた
Zennの「Test」のフィード
8月中旬の夜、散布図を描く自作の小さなツールの開発セッションが終盤にかかっていた。最終レビューの指摘を直す作業は、Claude Code のサブエージェントに任せてあった。その修正の中身は、manifest.yaml の数値を照合するテストの追加だった。manifest には、ツールを紹介するときの根拠にする数値(全体の相関係数 R など)を書いてある。その数値がコードの実計算と合っているかを、テストで見張る。完了報告には、manifest の数値を一時的に変えたら、このテストが落ちることを確かめた、という趣旨のことが書いてあった。別の再レビュー担当のエージェントが、同じ確認を自分で...
3日前

サーバーを22秒止めても貸出は成功した。その「圏外テスト」は圏外を作れていない
Zennの「Test」のフィード
鍵の貸出をスマホで記録する台帳を作っています。鍵ボックスの前は電波が届かないので、通信できないときは操作を端末内の箱に積み、アプリを開いたときに自動で送る形にしました。作ったあとにやることは1つ。本当に圏外で止まらないのかを確かめることです。サーバーのプロセスを一時停止して、貸出を1件やってみました。結果は、貸出が普通に成功。端末内の送信待ちの箱には1件も積まれない。止めているのに、届いていました。 プロセスを止めても、接続を受け付ける側は生きているまず疑ったのは自分の実装でしたが、そこではありませんでした。プロセスを一時停止しても、接続を受け付けているのはその手前の...
3日前

テストの「本当に性か」を問うミューテーションテストから、レトロ3Dゲーム開発の最先端まで:技術トレンドの断片的な考察
ソフトウェアテストタグが付けられた新着記事 - Qiita
最近の技術動向をいくつか覗いてみると、開発の「品質保証」という側面と、新しい「表現領域」という側面で、非常に興味深い動きが見られます。今回は、コードの堅牢性を極限まで追求する手法から、特定の技術スタックで実現した大規模なゲーム開発まで、それぞれの記事から読み取れる技術的なポ...
3日前

モデル更新の効果を測るなら、エージェント環境を同時に変えない
Zennの「Test」のフィード
たとえば、AIに同じフォーム修正を頼む。前回は長い会話の続きで失敗し、今回は新モデルの新規セッションで成功した。その間にエディタも更新され、使えるツールも増えていたとする。この結果から分かるのは、切替後の構成で課題を解けたことまでだ。モデル単体の効果を測りたいなら、ほかの変更を分けて試す必要がある。GitHubは2026年11月16日にCopilotの一部モデルを廃止する予定だ。年間契約の個人利用者向け例外もあるため、対象は告知で確認したい。[1] 移行期限が迫ると切替先の選定に目が向くが、旧構成を使えるうちに比較の開始地点を残しておく価値がある。 開始commitだけでは、条件...
3日前

スワイプで未回答の問題を飛ばさない:ページ移動を既存ボタンに任せる
Zennの「Test」のフィード
教材の本文を左にスワイプしたら次へ、右にスワイプしたら前へ戻れるようにしました。ここでスワイプから直接ページ番号を変えると、「この問題に答えるまで次へ進めない」といったボタン側の条件を通らなくなります。そこで、スワイプは「今の画面で押せるボタンを探して押す」ところまでにしました。ページ移動や読了の記録は、ボタンを押したときと同じ処理に任せます。 「次のページ」と「今できる次の操作」は違う本文では次のページへ進めても、演習画面では回答するまで進めないことがあります。また、「答えを表示」は次のページへ進む操作ではありません。指が少し横に動いただけで答えが出ると困るので、このボタンも対...
4日前
11/12 (木)

Goの基本を小さなサンプルで学ぶ|変数・構造体・エラー処理・テスト
Zennの「Test」のフィード
どういった記事なのかGoをこれから触る方向けに、読書リストを題材にして、変数の宣言からテストまでを順番に試します。実務では、一覧 API にページ分けを追加し、別の改修では文面を改行まで含めて確認しました。そのときの判断を、この記事用の読書リストのサンプルに当てはめて説明します。Goをインストール済みなら、標準ライブラリだけで動かせます。 どんな人間が書いているかテストエンジニアからプログラマー・SEに転身し、職場が変わるごとに C#、PHP、Ruby とメインで使う言語が変わってきました。この記事では、そうした経験を経て Go のコードを改修したときに使った基本を、これから...
4日前

AIで膨らみ続けるテストケースを、リスクベースドテストで選んで回すまでの記録
72
Zennの「QA」のフィード
はじめにこんにちは。ビジネス映像メディア「PIVOT」で、QAエンジニア兼PjMをしている ケイスケ です。PIVOTのモバイルアプリ(iOS / Android)では、AIでテストケースを書くようになってから、ケースの数が増え続けています。リリース前のUAT(受け入れテスト)で全件を回すのが難しくなってきたので、リスクベースドテスト(RBT)で回すケースを選ぶことにしました。ルールは一度では決まらず、何度も作り直しています。この記事は、その途中で試したことと分かったことの記録です。 前提 テストケースを仕様書として使っているPIVOTでは、テストケースを仕様書としても...
4日前

固定した時刻のテストが、ある朝から落ちる
Zennの「Test」のフィード
無関係な変更のあとで、排他のテストが赤くなった同じジョブを二重に処理しないため、ハンドラが「処理中」のマーカーを置く仕組みがありました。別の実行がマーカーを見つけたら処理を止めます。ただ、先に動いた実行が途中で終了するとマーカーだけが残るため、一定時間が経過したものは掃除して取り直すようにしていました。テストは、固定の日時でマーカーを置き、「排他を取れなかった側は処理しない」を確かめていました。ところが、無関係なPRをマージした朝からCIが赤くなりました。直前の実行では通っていた検査です。差分を追うと、問題のマーカーを作るテストは変わっていませんでした。変わったのは実行した時刻...
4日前

PHPUnitとMockeryで学ぶ依存分離とモックテストの実践
Zennの「Test」のフィード
PHPUnitとMockeryで学ぶ依存分離とモックテストの実践 概要「テストは書きたいが、DBや外部APIに依存していて書けない」という状況は、レガシー寄りのPHPコードでよく起きます。この記事では、PHPUnit の標準モックと Mockery を使い分けながら、依存を切り離してユニットテストを書けるようにするまでを、ハンズオン形式で解説します。扱う内容は以下です。依存分離(依存性注入)が必要になる理由PHPUnit標準モック(createMock / prophesize を除く)と Mockery の違いリポジトリ・外部クライアントをモック化してドメインロジッ...
4日前

AlphaProof Codeにみる形式検証とLLMの融合:Leanを用いた暗号実装の自動証明
ソフトウェアテストタグが付けられた新着記事 - Qiita
はじめにGoogle DeepMindから、ソフトウェアの形式検証(Formal Verification)をLLMエージェントによってスケールさせるアプローチ「AlphaProof Code」が発表されました(参照: Google DeepMind Blog)。発表に...
5日前
11/11 (水)

PHP脆弱性騒動に学ぶテスト自動化の重要性
Ranorex Blog - テスト自動化ツール 『Ranorex』
2026年10月21日、プログラミング言語「PHP」において、認証不要でリモートコード実行(RCE)を許す重大な脆弱性(CVE-2026-109618/CVE-2026-109619)の修正版が緊急公開されました[1][ […]The post PHP脆弱性騒動に学ぶテスト自動化の重要性 first appeared on テスト自動化ツール 『Ranorex』.
5日前

Google Apps Scriptを活用したスプレッドシート作業の効率化
Zennの「QA」のフィード
はじめに 自己紹介はじめまして。株式会社SkyfallでQA業務を担当している高見です。普段はSKYFLAGの品質保証業務を担当しており、テストの実施やテストケースの作成、E2Eテストの実装などに取り組んでいます。 本記事で紹介すること今回は、Google Apps Script(GAS)を活用して、スプレッドシートで行っていた作業を効率化した取り組みを紹介します。自動化に至った背景や実装内容、導入後に得られた効果について説明していきます。 Google Apps Script(GAS)とはGoogle Apps Script(以下、GAS)は、Goog...
5日前

TSBugs Explorer: Exploring and Benchmarking TypeScript Bugs
arXiv Query: search_query=all:"software testing"&id_list=&start=0&max_results=10
Curated datasets of real-world software bugs support empirical research in software testing, debugging, and automated program repair. However, exploring heterogeneous bug collections, comparing fault characteristics across projects, and constructing research-specific subsets often require manual inspection and custom scripts. We present TSBugs Explorer, an interactive visual analytics platform built upon our previously-published dataset of 633 bugs from 16 open-source TypeScript repositories, cl
5日前

【第3回】AI時代に、「場」を通してつながる③~違和感と共に生きる~│専門家2人による往復書簡
品質 | Sqripts
違和感に立ち戻る 天野さん、バトンを受け取りました。記事を読みながら、深い内省が垣間見えて、とても光栄な気持ちになりました。 同時に、書かれていたことに深く共感します。私自身も、コミュニティの中で「自分は何を得られたのだ...The post 【第3回】AI時代に、「場」を通してつながる③~違和感と共に生きる~│専門家2人による往復書簡 first appeared on Sqripts.
5日前

Museを使ってQA工程を『全身を赤く塗ってもいいほど』爆速化(当社比)した話
Zennの「QA」のフィード
※ 本記事は Qiita/Zenn への同時投稿です。 概要筆者はこれまで、vi コマンドやプレビュー内編集機能を備えたマークダウンエディタ「viMarkdown( https://github.com/vivisuke/viMarkdown )」の開発には、チャット型の生成AIのみを使用してきた。2026年10月22日に日本でリリースされた AIエージェント「Muse」(https://muse.ai)を、開発アシスタントとして試しに導入してみた。Muse は専用の VM(仮想マシン)を持ち、その中でリポジトリをクローンし、プログラムを実際に実行しながら、調査・検証・パッチ作成...
5日前



