ARCの実務価値を測るため、検証を2本に絞った判断
ARCの実務価値を確かめるため、Netsujoは2026年11月13日に検証を2本へ集中しました。自己報告、限定比較、未計測を分け、判断材料と次の条件を公開します。

Netsujoは2026年11月13日、Agent Role Contracts(ARC)の検証を2本に絞ると決めました。安定版の保守を続けながら、ツール定義の変更を扱う共同検証と、人が負担を測る2回目の実タスクへ時間を集中する判断です。この記事では、その時点の記録、分からなかったこと、次の判断を変える証拠を整理します。
ARCは、Netsujoが開発するオープンソースの宣言チェッカーです。AIエージェントの役割、作業範囲、レビュー関係、引き継ぎについて、入力された宣言の整合性をオフラインで検査します。実際の権限制御や外部システムの結果確認は、周囲の実行基盤が担います。私たちの製品評価では、この宣言チェックを既存の仕事へ加えたとき、人にどんな価値が残るかを確かめようとしています。
11月13日に決めたこと
当時の評価では、外部からの報告、再現できる合成試験、設計への指摘が集まっていました。それぞれは開発を進める材料ですが、実際の仕事で追加の確認をする負担に見合うかは、別に確かめる必要がありました。
そこで、11月12日までに確認した記録を使い、予定していた11月13日に方針を決めました。v1.0.xはセキュリティと正しさに関する修正を中心とした保守に限定し、機能やアダプターの拡張は引き続き止めます。外部との検証は、具体的な条件を詰めているT4と、人が測る2回目の実タスクを残しました。当日の製品判断は公開しています。
限られた時間の使い道を、次の判断に必要な証拠へ結び付けるための選択です。他の比較対象については、相手側の実行結果が得られるまで検証の拡大を保留しました。判断の対象は、Netsujoが次に進める検証の範囲です。
判断に使った5つの問い
私たちは、実務利用、既存の対策への追加価値、人の負担、正しい作業への影響、次の仕事での再利用を分けて見ました。以下はその時点の評価表に基づく整理です。
11月13日の判断で使った記録(集計は11月12日時点)
| 確かめたかったこと | その時点の記録 | 次に必要な証拠 |
|---|---|---|
| 外部の仕事で使われたか | 実務利用の自己報告2件、独立確認済み採用0件 | 版・入力・仕事・出力が結び付いた外部実行記録 |
| 既存の対策に加える価値があるか | 限定した内部比較の自然な追加検出0件 | 既存の対策との同条件比較と、人が有用と判断した発見 |
| 人の負担は見合うか | 時間削減は未計測 | 設定、再確認、レビューに人が使った時間 |
| 正しい仕事を妨げないか | 実務環境での誤拒否率を出せる観測はない | 許可された作業の拒否事例と、その妥当性の確認 |
| 次の仕事でも使うか | 外部2回目の実タスクは未実証 | 実際の2回目の利用と、人による継続・保留・取り外しの判断 |
外部の2件は自己報告であり、独立検証済みの採用件数には加えていません。追加検出0件は、記録した限定的な内部比較での値です。時間削減は未計測で、0時間という意味ではありません。2回目の実タスクも、実行を裏付ける記録が揃っていない状態です。この表は11月13日の判断材料であり、公開日時点の新しい利用実績や、全利用環境での検出率を示すものではありません。
こうして並べると、同じ空欄でも次に必要な仕事が違うと分かります。外部利用の報告には、仕事と検査結果を結び付ける記録が必要です。人の負担には、設定や見直しをした本人の測定が必要です。既存の対策に加える価値には、同じ条件で比べた結果が必要になります。
外部の1件には、設定におよそ3分かかったという自己報告もありました。本人がその作業をどう受け止めたかを知る材料です。一方、設定、再確認、レビューを含めた負担や、仕事全体で節約できた時間の測定は、この報告だけで完了とは扱っていません。
1件の実作業から分かったこと
10月27日には、公開プロジェクトの既存テストを補強する保守作業でARCを使いました。テストの説明を直し、受信側の証拠を確かめる試験を追加する仕事です。変更対象は2ファイルで、作業前にそれぞれの範囲を宣言しました。公開した作業記録では、これを1件の実務タスクとして扱っています。
ここで作業の単位を固定したのは、検査回数が増えることと、別の仕事で使えたことを分けるためです。2ファイルの宣言を作っても、達成しようとした保守の目的は一つでした。前後で検査しても、実務利用が2件になったとは数えません。
この作業では、正当な2つの範囲宣言が通り、変更後の差分もその2ファイルに収まっていました。意図的に範囲外の宣言を入れる負例も確認しましたが、こちらは検査器の振る舞いを確かめる合成ケースです。実際の作業で偶然発生した問題の発見件数には入れませんでした。
記録上、既存の対策が見逃した自然な矛盾をARCが追加検出した件数は0でした。テストの説明に問題があることは、事前のソース確認で分かっていたものです。コードの正しさや変更後の差分は、既存のテストや差分確認が扱っています。ARCの宣言検査と、それらの観測はそれぞれの役割として残しました。
この結果から、すべての仕事で追加価値がないとは判断できません。私たちが得たのは、限定した1件の仕事では追加の発見がなかった、という記録です。人が設定やレビューに使った時間、手間を減らせたか、次も使うかという評価は残りました。
自社製品を評価するときにも、何を1件と数えるかを先に決めると、数字を判断に使いやすくなります。ファイル数、試験数、実行回数、業務の件数は、それぞれ別の問いへの答えになります。
残した2本が埋める穴
次に続ける検証は、技術上の観測と、人の継続利用という2つの穴に対応させました。
| 継続する検証 | 確かめたいこと | 成果物として必要なもの |
|---|---|---|
| T4:ツール定義が承認後に変わる場合 | 宣言チェック、送信直前の判断、保存された結果を同じ操作について対応付けられるか | 合意した入力・条件、許可された実行、相関する記録と独立した結果確認 |
| 人が測る2回目の実タスク | 初回の興味が、負担に見合う継続利用へつながるか | 実タスク、既存対策、設定・再確認時間、検出・拒否の妥当性、継続判断 |
11月13日の記録では、T4の共同試験は条件の最終凍結前で、ラボ実行の許可とERP試験の実行も未成立でした。ここに挙げた成果物は、これから満たすべき条件です。業務データを扱うシステムで結果を保存し、別の観測で確認する共同実験が成功したという意味ではありません。当時の状態とともに読む必要があります。
T4は、同じ操作を複数の場所で観測する
T4では、承認したあとにツールの定義が変わる場面を扱います。宣言した依頼の文字列が同じでも、その先で数量を換算する定義などが変われば、実際の操作に影響する可能性があります。宣言、送信直前の判断、保存された結果を同じ操作へ結び付けることが検証の焦点です。背景を説明した記事に、想定する変更と観測点をまとめています。
既にARC側の合成試験の公開と相手側への反映、相手側の参照実装の再現は進んでいました。それぞれの結果を維持しながら、実際の送信と保存された結果の観測へ接続することが残っていました。
2回目の仕事では、人の負担と継続判断を見る
もう一方では、実際の仕事をする人に、設定、確認、拒否の理由の理解に使う手間を記録してもらいます。すでにあるCIや差分確認との重なりも、評価の一部にします。
初回には、試し方を覚えたり、製品の可能性を確かめたりする目的があります。次の実タスクで、同じ検査をどの程度の負担で使えるかは別の問いです。私たちはその問いを、継続、保留、取り外しという本人の判断と一緒に記録しようとしました。2回使うことだけで事業性が確定する、という基準ではありません。
判断を変える証拠を先に決める
11月13日の判断では、独立して確認できた外部採用、実行された外部の2回目の仕事、または既存の対策が見逃した自然な問題をARCが捉え、人が有用と評価した記録を、選択的な継続を判断する材料にしました。
同時に、次の見直しまでにT4の条件が固まらず、外部の2回目の仕事も人による測定も得られなければ、休止を判断する条件も置きました。当日の計画では、次の見直しは12月11日、またはT4の凍結や外部の2回目の実行報告が先に届いた時点です。いずれも、11月13日に記録した判断条件です。
このように先に条件を書くと、結果が届いてから都合のよい基準を選ぶ余地を小さくできます。どの作業が新しい判断材料を生み、どの作業が既存の結果を繰り返しているかも確認しやすくなります。Netsujoがこの判断から持ち帰ったのは、検証の数と、判断を変える証拠を別々に管理することでした。
実タスクの評価を一緒に進める
自社の製品や社内ツールを評価する場合は、実施した作業の一覧に加え、実務価値について分かっていることを別の表にしてみてください。設定負担、既存手段との差、正しい作業への影響、次回利用の意思を並べると、次に埋めるべき空欄が見えます。
NetsujoはARCの共同検証入口で、実タスクに基づく評価を受け付けています。作業の範囲、既存の対策、設定と再確認の負担、観測した結果、次も使うかという判断を共有してください。役立った点と同じ形式で、手間がかかった点や既存の対策で十分だった点も残し、次の製品判断につなげます。