メインコンテンツへスキップ
技術ブログへ戻る
AI開発

外部開発者の指摘を、実行できる失敗テストへ変えた過程

外部開発者の指摘を4ケースの来歴検査と5ケースの署名fixtureへ変換したNetsujoの経験。正常な対照、一項目ずつ変える入力、観測、残る問いを6つの欄で整理します。

対照条件を固定し、一つの入力を変えて失敗時の判定を確かめる概念図

Netsujoは、外部開発者から寄せられたAIエージェントの検証への指摘を、手元で実行できる小さな失敗テストへ変えてきました。2026年11月には、レビュー証拠の作成者を確かめる4ケースの例と、署名された証拠を対象コミットへ結び付ける5ケースの例を公開しました。この記事では、懸念を受け取ってから、何を変え、何を観測すれば答えが出るかを整理した過程を紹介します。

Agent Role Contracts(ARC)は、Netsujoが開発するオープンソースの宣言チェッカーです。AIエージェントに与えた役割、作業範囲、レビュー関係、引き継ぎについて、入力された宣言の整合性をオフラインで検査します。実行者の本人確認、秘密鍵の管理、実際の書き込み制御は周囲の実行基盤が担います。今回の署名テストも、その基盤側の問いを考えるために作った補助的な実験です。

外部の指摘を、相手も実行できる問いにする

AIエージェントのレビュー結果を受け取ったとき、私たちは何を根拠に次の処理へ進めるのでしょうか。レビュー担当の名前、確認したコード、判定、確認に使った方針。それぞれが記録されていても、誰がその記録を作れたかという問いが残ります。

Netsujoは10月27日、公開されたフィードバック7件と設計判断を対応付け、4つの設計文書へ反映しました。権限の出所、証拠が属する対象、結果が不明なときの再試行などを整理したものです。この段階の成果は文書による設計の更新であり、実行時の新機能を出荷した記録ではありません。公開議論を整理した先行記事では、その範囲を分けて説明しています。

11月の議論では、レビュー証拠そのものの作成者へ焦点が進みました。たとえばJSONに、独立したレビュー担当を示す名前が入っているとします。実装担当もそのJSONを書けるなら、名前の一致だけで判断してよいかを確かめる必要があります。

ここで私たちがしたかったのは、懸念を入力と判定の関係へ落とすことでした。「独立性が心配」という状態から、「実装者がレビュー担当を名乗る記録を渡したら、検証器は何を根拠に拒否するか」まで具体化すると、相手も同じ条件で試せます。

この変換では、言葉の定義だけで議論を閉じず、正常な例と、そこから何を変えるかを一緒に決めました。変える対象がはっきりすると、実装が答えられる問いも狭くできます。

正常な対照を通してから、拒否の理由を分ける

11月11日に公開した例では、宣言、評価、受入という3種類の記録と、固定した候補の識別情報を使いました。その上で、次の4ケースを置きました。

  • 必要な記録が揃い、対象と作成者の条件も一致する場合は、PASSを期待します。
  • 評価記録を取り除いた場合は、PENDINGを期待します。
  • 評価を別の候補へ結び付けた場合は、DENYを期待します。
  • 実装担当が独立レビュー担当を名乗って評価を出した場合も、DENYを期待します。

この順序には理由があります。必要な評価記録が欠けたままなら、最後の例が拒否されても、作成者を見分けたのか、単に記録が足りなかったのかが分かりません。まず正常な対照を通し、欠落と対象違いを別に確認することで、作成者に関する条件を調べやすくしました。4ケースの公開例に、入力と検査の考え方を載せています。

この例で使った証拠の来歴は、ホストの記録を模したデータから供給しています。実際の認証や隔離を構築した試験ではありません。確かめたかったのは、記録の中の自己申告と、別の信頼する入力に基づく照合を、検査の条件として分けられるかという点です。

対照を固定する考え方は、コードレビュー以外にも使えます。対象だけを変える例と、証拠の有無だけを変える例を分けると、拒否した理由を説明できます。複数の条件を同時に壊した例だけでは、必要な検査が本当に働いたかを切り分けにくくなります。

署名と、いま照合している対象を結び付ける

次に扱ったのは、正しい鍵で署名された証拠が残っている一方で、確認対象のコードが先へ進んだ場面です。候補Aへのレビューが終わり、その証拠を持ったまま候補Bを受け入れようとするとき、署名の検査に加えて何を照合するかを具体化しました。

11月17日の例では、一時的なEd25519鍵を使い、候補の識別情報、方針、判定などを含む記録に署名しました。検証器には、信頼するレビュー担当の公開鍵と、いま確認する候補・方針を与えます。対象、方針、署名者、証拠の有無をそれぞれ変え、返る判定を確認しました。

2026年11月17日に実行したローカルfixture

fixtureは、同じ入力条件を繰り返し試せる小さな実行例です。この例はNode.js v22.16.0で実行し、5つの期待判定がすべて一致しました。実行記録とコードを公開しています。

2026年11月17日に実行したローカルfixture
入力観測された判定ここで分かること
対象A・方針v1・信頼した鍵のPASSEVIDENCE_MATCHED_ONLY与えた照合条件が一致した
対象Aの証拠を対象Bへ渡すDENY_STALE_CANDIDATE対象違いを拒否した
方針v1の証拠を方針v2で検査DENY_STALE_POLICY方針違いを拒否した
別の鍵で同じ項目に署名DENY_UNTRUSTED_SIGNER固定した信頼鍵と合わない署名を拒否した
証拠なしPENDING_MISSING_RECEIPT証拠欠落を未確定として残した

この試験は、単一プロセスで2組の一時鍵を作る教育用のfixtureです。検証した範囲は、固定した公開鍵に対する署名と、与えた対象・方針の一致です。実運用での秘密鍵の保管、レビューが実際に行われたこと、実装者とレビュー担当の運用上の独立性、マージの許可は検証していません。ARC本体に署名検証や鍵管理の機能を追加したものでもありません。

一致したときの判定名をEVIDENCE_MATCHED_ONLYとしたのは、証拠の照合が成立した範囲を明確にするためです。次の処理を許可する側には、必要なレビューや試験が揃ったか、現在の方針が有効かなど、別の確認が残ります。

指摘を試験へ変える6つの欄

2つの例を振り返ると、外部からの指摘を受け取った段階で、下の6つを埋めると試験の形を決めやすくなります。これは今回の経験をもとにした整理方法です。新しい試験を実行した結果ではありません。

指摘を試験へ変える6つの欄
欄レビュー証拠の例
確かめたい主張このPASSは、今の候補に対する、権限あるレビュー担当の記録か
正常な対照対象・方針・署名者が一致した証拠を渡す
一度に変えるもの対象コミットだけ、方針だけ、署名鍵だけ、証拠の有無だけを変える
観測するもの検証器が返す判定と、対象・方針・署名者の照合結果
期待する判定一致、古い対象、古い方針、未信頼の署名者、証拠欠落を区別する
残る問い誰が秘密鍵を使えるか、実際のレビューが行われたか、受入側の方針は有効か

最初の欄では、主張を一つに絞ります。「安全なエージェントである」といった広い問いのままでは、どの結果なら答えたことになるかが定まりません。「候補Aの証拠を候補Bへ使ったときに拒否する」まで狭めれば、入力と観測結果を対応付けられます。

「観測するもの」と「期待する判定」も分けます。期待は設計時に決める値です。観測は、実際に実行して得た値です。実行できなかった項目は未実行として残せば、次に必要なのが実装、実行環境、入力、権限のどれかを検討できます。

最後の欄は、今回の検査の外側を示します。ここを埋めることで、成功した小さな試験から、より大きな運用上の結論へ飛躍することを防ぎやすくなります。読者も、自分のシステムのどこへ試験を追加するかを判断できます。

実行できた範囲と、次の問いを残す

公開後の議論では、証拠を受け入れる側がどの方針を有効と判断したか、鍵が失効した場合にどう扱うか、方針の履歴を誰が書けるか、過去の判断を訂正・撤回するときに何を残すか、といった問いが出ています。これらは公開記事の議論で検討している設計候補で、今回の5ケースの実行済み項目には含めていません。

4ケースの例から5ケースの例へ進んだことは、観測する対象が具体化した過程として捉えています。最初は必要な記録とその来歴を扱い、次は署名された記録を現在の候補と方針へ照合しました。それぞれの前提を残しておくことで、次の検証者が同じ条件を再現し、別の失敗例を提案できます。

私たちが公開する際に重視しているのは、試験の入口と出口を揃えることです。入力、実行条件、観測された判定、まだ答えていない問いが一緒に読めれば、どの部分を再現できたかについて会話できます。

手元の懸念を、共同検証へ持ち込む

AIエージェントを使う仕事で気になる点があれば、まず一つを選び、6つの欄に当てはめてください。すでにある差分確認やCIが何を検出し、どこに確認の余地が残るかも書くと、追加する検査の役割が明確になります。

NetsujoはARCの共同検証入口で、実タスクの範囲、既存の対策、観測できた結果、残った問いを受け付けています。設定や再確認にかかった負担、既存の対策で十分だった例も、実務価値を判断する材料になります。まだ実行していない案は、その状態のまま共有できます。