初めにAgentがコードを書き、最後に「問題ありません」と報告する。ただ、そのAgent自身が見落とした問題を、自分で見つけられるとは限りません。そこで、作成する役割と、検証する役割を分ける方法を考えます。この記事では、別のAgentが成果物と根拠を確認する仕組...

個人開発でタナゴ釣果記録アプリ「KIRIBAKO」を作っています。写真から魚種を当てる分類器を載せていて、今回ハゼに対応させました。出荷前に「新しいモデルは本当に良くなっているか」を測り、数字が出て、出す判断をしました。その数字が間違っていました。 モデルでもデータでもなく、測る側が壊れていた話です。結論を先に書きます。評価は、出荷する成果物そのものに当てる。 変換の中間生成物を指していると、モデルを差し替えたときに評価系だけが古いまま取り残される。しかもそれは「エラー」ではなく「もっともらしい数字」として出てくる。 測ったら、良い数字が出たアプリの分類器は 2...

Astra Standardの料金表を固定してPythonの計算器を作り、境界・キャッシュ区分・不正入力を含む15ケースを実行しました。272,000入力token、1,000出力tokenなら $2.77。入力だけを1token増やした272,001では $5.51502 になりました。これは合成token数から求めた計算結果です。Astraに長文を送った実測でも、請求書を照合した結果でもありません。実API呼び出しは0回です。 何を確かめたかきっかけはこちらのAstra解説です。原記事にはすでに272K超の倍率と、入力300K・出力30Kで$8.25になる例が記載されています...

最近、個人的に suno.ai が楽しくて、課金するくらいハマっています。ちょっと仕事で、QAについて他部署にもわかってもらえるようなドキュメント作成というのがあり、やっていました。続きをみる

この記事で分かることDredd は 2024-11-08 にアーカイブされ、OpenAPI 3 対応も README 上は experimental のまま止まっていることLaravel 13 に Spectator v3 を導入し、Feature テストでレスポンスを OpenAPI 定義と突き合わせる手順定義と実装をわざと3通りずらしたときに、テストがどう落ちるか（実際の出力をそのまま載せています） Dredd はもう更新されないDredd は、API の定義ファイルと実装が一致しているかを検証するコマンドラインツールです。README では次のように説明されています...

はじめに高額療養費制度は、2026年8月と2027年8月の2段階で変わります。「自分はいくらになるのか」を、改正前・2026年8月〜・2027年8月〜の3時点で並べて確認できる計算ツールを作りました。ツール: https://seidolab.com/tools/kogaku/年収帯別ページ(13区分の一覧): https://seidolab.com/tools/kogaku/nenshu/フロントエンドだけの静的サイトで、入力した内容はブラウザの中だけで計算し、送信しません。この記事では、制度の要点と、数字を間違えないための作り方をまとめます。 何が変わるのか...

初めにコード修正、資料作成、調査、業務改善。AI Agentに任せたい作業はたくさんあります。ただ、同じように依頼しても、自律的に進めやすいタスクと、人の判断が必要なタスクがあります。今回は、**「目標が明確か」×「自動で検証できるか」**の2軸で整理します。Ag...

40秒でいうと： 数理最適化の実験を管理するソフトウェアを、AIを使いながら開発しています。このソフトウェアには、実験を始める前の状態を確認し、その結果を記録・報告する機能があります。実験前の状態はいったんデータとして保存され、そこから必要な情報を取り出して報告を作る仕...

Cloud Firestore のローカル開発とテストで使う公式エミュレータを、Rust の単一バイナリで置き換える hidane（火種） の最初のリリース、v0.1.0 を公開しました。firebase-tools からそのまま起動でき、Java は要りません。この記事では、使い方と、どうやって「公式と同じ挙動」を確かめているかを紹介します。リポジトリ: https://github.com/hidane-dev/hidaneサイト: https://hidane.dev/ja/リリース: https://github.com/hidane-dev/hidane/relea...

AIエージェントにRailsの実装とRSpecを任せると、1回の依頼で数百行の差分が届くことがあります。全部を読み切るのは現実的ではありません。しかもテストが通っていても、そのテストが実装のバグを見つけられるとは限りません。筆者は、人間が設計で守るべきルールを決めて「契約」として表にまとめ、AIにはその表を守る実装とテストを書かせる進め方を試しました。テストの堅固さはミューテーションテストのツールであるevilutionと、メソッドごとのCRAP値で検証しています。こうすると、人間がレビューで読む場所を、契約の表と、検証ツールが指摘した箇所に絞れます。 はじめに想定する読者は次の...

はじめに「Autonomous Studio」という実験をしています。AI エージェントが小さな製品を調べ、作り、公開します。人間のオーナーは、公開・課金・削除のように取り返しのつかない操作だけを承認します。最初の製品 billshock は、OpenAI・Anthropic・Vercel・Cursor の利用料が急増したときに通知するオープンソースの CLI / GitHub Action です。billshock は、請求額を正しく読めなければ意味がありません。単位を 100 倍取り違えると、通知がまったく来ないか、毎時鳴り続けるかのどちらかになります。ところが、私たちは管理...

◀前の記事へ 次の記事へ▶︎続きをみる

Claude Academyを見て「学んだ内容を何で確かめるか」を考え、架空のSNS投稿CSVを集計する小さな演習を作りました。Claude Code CLIで1回生成したPythonコードを、生成前に固定した12ケースで実行したところ、10件合格、2件失敗でした。集計式は合っていても、空行の扱いと全角数字の入力検査が仕様を満たしていませんでした。この記事は独自の実践記録です。公式講座の課題や試験の解答ではなく、講座修了・バッジ取得・受講による能力向上を示すものでもありません。 出発点は受講報告、確認するのは成果物Academyの受講・バッジ取得を報告する投稿と、そこから引用さ...

最近はAIを使ってコードを書く機会がかなり増えてきました。自分も日常的にAIを活用していますが、開発速度が上がった一方で、コードレビューの難しさは以前より増しているように感じています。というのも、AIが生成するコードは一見すると非常によくできているからです。命名も自然...

テストが落ちた。通知を見て、エージェントが出したパッチを開く。差分を読み、テストをやり直す。パッチが数分でできても、この確認が済むまで開発者の作業は止まったままだ。Google社内のpre-submitテスト修復を扱ったFlowAgentのプレプリントには、失敗通知から開発者の次のコード編集まで中央値27.48分という観測値がある。手動評価では195件中131件の修正提案が正しく、正答率は67.18%。一方、エージェントが成功した修正を得るまでの中央値は9.85分と報告されている。ここで数字を足し引きして「これだけ時短した」とは言えない。27.48分は開発者側の次の編集までの観測であ...

テストの期待値は、誰が書いていますか。自作の WordPress プラグイン Rapls PDF Image Creator のコードは、ほとんど Claude と一緒に書いています。テストも同じです。そうすると、判定のコードと、その判定が正しいかを確かめる期待値を、同じ相手と同じ理解のまま書くことになります。理解がずれていれば、コードと期待値は同じ方向にずれて、テストは緑のままです。10月7日の 1.4.25 で、それを避ける形のテストを1つ入れました。期待値を書くのをやめて、PHP 本人に答えさせています。 直したのは、disable_functions の読み方プラグイン...

AIエージェントを使った開発は楽だし、とにかく早いです。が、気づけば要件が増えていたり削れていたりということもしばしば。要件のズレを見つける手段の一つが単体テストで、ここさえ見ればOKとは言えませんが、いくらかの検出には役立つ実感があります。しかし正しい単体テストの設計や書き方ってなんなのか？ 改めて考えてみると割と雰囲気で押し切っている部分が個人的にはあります。というわけで、単体テストはどう書けばよいのかを資料に当たりながら整理しよう。というのがこの記事の趣旨です。 単体テストとはどこまでを指すのか 「単体」に決まった定義はない単体テストの「単体」が何を指すのか、厳密な...

日本株のBotを作っていて、値動きから次の値動きを当てる戦略を200通り以上試しましたが、どれも基準を通りませんでした。そこで狩り場を変えることにしました。値動きを当てるのではなく、「決まっている出来事」で稼ぐ方法です。日経平均の銘柄入れ替え: 採用された銘柄は、決まった日に指数連動の資金が必ず買うTOB(株式公開買付): 買付価格が決まっていて、市場価格との差を取る株主優待クロス: 現物買いと信用売りを同時に入れて、値動きのリスクなしに優待だけを受け取るどれも「なぜ儲かるのか」の理由がはっきりしています。実弾は入れず、過去のデータで調べました。結論を先に書くと、理由が...

ログイン画面のバグを例に考えてみます。月曜日にテスターが「ログインのスピナーが回り続ける」と書きました。火曜日にはサポート担当が「パスワード画面の後でサインインできない」と書きました。水曜日には開発者が、トークン更新のタイムアウトに触れた3件目の報告を見つけました。チケットは3件、担当者は3人、バグは1つです。それぞれのチケットが答えの一部を持っています。1件目には手順があり、2件目には待っているお客様がいて、3件目にはログがあります。全体像を誰も見られないまま、同じ問題を誰かが3回トリアージすることになります。重複は不注意の表れではありません。違う人が同じことを違う言葉で表現すると...

この記事についてZenn + GitHub + VS code で作成した、テスト用の記事です。

AIに動画を量産させ始めて、すぐに壁に当たった。検品だ。10分の動画を2本、毎回通しで見ていたら20分かかる。かといって見ないと、「背景が数分間真っ黒」のような、機械チェックをすり抜ける見た目の事故を出荷してしまう。結論から書くと、ffmpegのコンタクトシート（一定間隔のフレームをタイル状に並べた1枚画像）を作り、それをマルチモーダルなAIに見せる方法で、10分動画の目視相当の検品が1〜2分で終わるようになった。かかるのはffmpegコマンド1回と、画像1枚ぶんの推論だけだ。 コマンドはこれだけffmpeg -i input.mp4 \ -vf "fps=1/5,scal...

以前、「AIに書かせたコードは、読まずに6つ試すだけでかなりの穴が見つかる」という記事を書きました。https://zenn.dev/ritsuhayase/articles/ab8e0c9f2dd66eただ、試すだけでは見つからない穴もあります。手元の回線が速い、相手のサーバーが元気、テストが緑。この条件がそろっていると、何度動かしても問題は出てきません。そういう穴は、コードの決まった場所を読みに行くほうが早く見つかります。この記事では、その場所を3つに絞って出します。どれも検索1回で該当箇所に飛べます。載せた出力は、すべて実際に実行して採取したものです（Windows 10 ...

TL;DRローカルLLMの解釈に失敗したときは、キーワードで判定する規則パーサに切り替える作りにしていました。そして精度を測るベンチも、同じ規則パーサの出力を正解として使っていました。この組み合わせだと、LLMが1文も答えていなくてもベンチは満点になります。切り替え先の答えと正解が、同じものから出てくるからです。実際にfew-shotを1例足したところ、プロンプトが文脈長の1024トークンを超え、すべての入力が規則パーサに回っていました。そのあいだもベンチは16/16を示していて、異変に気づけたのは、本番と同じ経路を通すスモークテストが落ちたからでした。 日本語の指示をJSO...

!本記事は、dev.toに公開した"Why agent-browser and Playwright Work So Well Together"を日本語向けに一部再構成したものです。最近UIの評価フローにagent-browserを導入することがあります。通常のE2Eテストは、操作経路が決まっている場面で有効です。await page.getByRole("button", { name: "Settings" }).click();await expect( page.getByRole("dialog", { name: "Settings" })).toBeV...

「場所メモ」は、行きたい場所の候補と訪問履歴を分けて残す、自分用のWebアプリです。現在は開発中で、本番には未公開です。端末間で記録を同期するため、Cloudflare Pages FunctionsにGoogleサインインを実装しました。ところが、Googleの画面から戻ったあとに認証が失敗します。Nodeで通っていたテストでは、この問題を拾えていませんでした。修正したのは、トークン取得と署名検証用の公開鍵取得に指定していた redirect: 'error' です。workerdで使える manual に変え、3xx応答を受けたら処理を止めるようにしました。 通信エラーの表示...

test

[特定非営利活動法人ソフトウェアテスト技術振興協会]JSTQB（ソフトウェアテスト技術者資格認定組織）は、2026 年 10 月 7 日（水）に Advanced Level シラバス 日本語版 テスト自動化エンジニア（CTAL-TAE）の最新版、Version 2.0を公開しました。本シラバスは、テ...

Smartphones carried by hikers routinely record routes, locations, and requests for assistance, and these records can provide precise clues for mountain search. However, they are rarely transformed in a direct and timely way into unmanned aerial vehicle (UAV) missions that support search and rescue. This paper presents a user-triggered UAV dispatching system that integrates mobile information collection, ground station mission management, and UAV search into a single workflow. In our system, a mo

こんにちは！アルダグラムでQAエンジニアをしているshige_sです。2024年から取り組んでいる「Bugbash」について、以前こちらの記事でご紹介しました。https://zenn.dev/aldagram_tech/articles/7f4f7e5a1f3b97あれから2年以上が経ち、このイベントは今では開発プロセスに欠かせないものとして定着しています。今回は、今年7月から新たに加わった変化と、それにあわせて変更したイベント名「デモ会」についてご紹介します。 これまでの参加メンバーこれまでBugbashに参加してもらっていたのは、以下のような開発に近いメンバーでした。...

こんにちは！アルダグラムでQAエンジニアをしているshige_sです。2024年から取り組んでいる「Bugbash」について、以前こちらの記事でご紹介しました。https://zenn.dev/aldagram_tech/articles/7f4f7e5a1f3b97あれから2年以上が経ち、このイベントは今では開発プロセスに欠かせないものとして定着しています。今回は、今年7月から新たに加わった変化と、それにあわせて変更したイベント名「デモ会」についてご紹介します。 これまでの参加メンバーこれまでBugbashに参加してもらっていたのは、以下のような開発に近いメンバーでした。...

The increasing use of machine learning (ML) systems in production has highlighted some important weaknesses in traditional software testing methods. Unlike regular software, ML systems can fail in specific ways due to their reliance on data, including issues like data drift, concept drift, and performance decline. To address these issues, this paper introduces the Continuous Testing for Machine Learning (CTML) framework. This framework is designed specifically for MLOps environments and offers a

MemoCare is an interactive mobile system for automated multimodal cognitive screening. A React Native application combines spoken responses, temporal and spatial orientation, touchscreen actions, and visuoconstruction in complete English and Vietnamese workflows. Speech is transcribed by Google Speech-to-Text and scored locally with deterministic task-specific natural language processing rules; GPS coordinates are resolved by the MemoCare spatial module before answer matching; touch tasks are sc

はじめに以前 AIネイティブ開発でQCDはどう変わったか — 直近2週間を実測データで評価する で、不具合の発生率を実測し、「不具合が頻発して見える主因は発生率の悪化ではなく検出率の向上と分母の増加だった」と書きました。その記事の最後に「検出率が上がった状態が定常化すれば、次は発生率そのものを下げるフェーズに入る」とも書いています。こうした事象がどの程度の頻度で起きるのかは、1 件ごとの振り返りを積み重ねないと分かりません。検証と改善を続けながら、結果を良いものも悪いものも正直に公開していくつもりです。その具体的な事案として、少し前に 犯人のいない本番事故 — AI レビューも ...

開催日時: 2026/11/05 19:00 ～ 20:30<br />開催場所: 港区麻布台1-3-1(麻布台ヒルズ森JPタワー)<br /><br /><h2>プログラミングが好きな、すべてのエンジニアへ（もっと良くなる日本のIT vol.4）</h2><p>SHIFTの技術顧問川口耕介氏による対談企画。お相手は川口氏が自ら選出！<br>アメリカで最先端の技術を開発し活躍してきた彼が思う、日本のITの未来とは。</p><p>今回は、Rubyコミッターとして世界的に知られるSTORES株式会社 フェローの笹田耕一氏をゲストにお迎えします。 <br>Rubyの処理速度を劇的に向上させた仮想マシンYARVを開発し、世界中の開発者を支え続ける笹田氏と、継続的インテグレーションツールJenkinsを開発し、ソフトウェア開発の現場に革命を起こした川口耕介氏。 </p><p>世界のソフトウェア開発現場に絶大な影響を与えてきたお二人が、AI時代におけるOS...

こんにちは。MagicPodでエバンジェリストをしている伊藤由貴です。目次 -->目次ワークフローの全体像今回はMagicPod MCPを使い、Claude CodeとMagicPod等を連携させながら、仕様変更をもとにMagicPodのテストをアップデートして実⾏するまでの流れを作ってみます。テスト対象今回はテスト対象として、HOTEL PLANISPHERE - テスト⾃動化練習サイトHOTEL PLANISPHERE - テスト⾃動化練習サイト（仕様変更版）実際の流れここからは、実際に概要図の流れに沿って使い⽅の例を⾒ていきましょう。1. 仕様変更の記載今回の仕様変更の内容をNotionに書いたものが以下です。あくまでもワークフローの例なので、⾮常にシンプルな変更です。2. 仕様変更をもとにテストの変更内容を把握し、テストケース⼀覧をアップデートNotionにあらかじめテストケースの概要が記載されている、とします。このページに対して、先の仕様変更内容をAIを⽤いて反映させます。Notionの「[DesignDoc] 宿泊予約システム：予約可能期間の仕様変更」ページに記載され...

AIエージェントは、ここ1年だけを見ても驚くほどの速度で進化しています。Claude、Cursor、Codexといったツールは、数ヶ月前にはできなかったことを当たり前のようにこなすようになりました。目次 -->目次MagicPod MCP Serverを刷新しましたMagicPod MCP Server（MCPサーバー）は、AIエージェント（Claude、Cursorなど）から自然言語でMagicPodを操作できるようにする仕組みです。テスト編集まわりでは、他にもできることが増えています。エージェントが実際の画面をキャプチャし、そこから安定して動くロケータを提案したり、既存のロケータがまだ有効かを検証したりできます。テストが落ちたときの「アプリ側の不具合なのか、ロケータが古くなっただけなのか」という切り分けを、エージェントと一緒に進められます。QRコードの読み取りのように、画像をテストデータとして使うテストであれば、その画像のアップロードもできます。開始と終了のステップを指定した部分的な実行もできるので、直したい箇所だけを繰り返し試せます。テストケースや共有ステップの整理も任せら...