AIエージェントを増やしたら、人間がボトルネックになった——Human Intervention Rateで自律性を測る

AIエージェントを増やせば、人間の仕事は減る。実装をAIに任せ、別のAIがレビューし、CIを通し、問題があれば修正する。私たちも、その方向で開発・運用を進めてきました。

ところが複数のAIエージェントを本番レベルで運用すると、別のボトルネックが見えてきました。人間です。

AIはコードを書き、レビューし、テストします。それでも人間が何度も「続けて」「再実行して」「別の担当へ引き継いで」「承認する」と介入しなければ完了しないなら、業務はまだ十分に自律化されていません。

Human Intervention Rate（HIR）

そこで、AIが何件処理したかではなく、AIが仕事を進める途中で何回人間を呼び戻したかを見る必要があると考えるようになりました。

ここでいう介入は、人間が結果を見ることではありません。人間が判断・指示・操作をしなければ処理が先へ進まなかった状態です。

100件の処理のうち30件で続行、再実行、承認、担当変更などが必要ならHIRは30%です。逆に100件のうち人間が判断したのが2件だけで、それが大きな予算判断や不可逆な本番変更なら、人間が介入する合理性があります。

目的はHIR=0ではありません。Low-Value Human Interventionをゼロへ近づけることです。

AI組織のミドルマネージャーになっていた

個々のAIが速くなるだけでは、人間は仕事から解放されません。実装はAIが短時間で終えても、その間に人間が状態確認、停止理由の調査、再実行、引き継ぎ、レビュー確認、承認を繰り返せば、人間は作業者からAI組織のミドルマネージャーへ移っただけです。

これは処理能力だけが増え、調整能力が増えていない状態です。すべてのエージェント間を人間が接続すれば、人間の処理能力がシステム全体の上限になります。

残すべき介入と、消すべき介入

後者を毎回経営者や担当者が処理しているなら、それは安全装置というより、自動化されていない運用ロジックである可能性があります。

Human InterventionをGuardrailへ変える

私たちはIncidentを、原因分析だけで終わらせず、ルールと機械的な制御へ変える運用を進めています。

たとえば、承認後にHEADが変わって承認がstaleになったなら、変更検知、旧承認の無効化、再検査、必要な承認だけの要求までを仕組みにする。API rate limitなら無意味なretry loopを止め、backoffし、条件回復後に自動再開する。独立QC担当が停止したなら、許可された代替reviewer routeへ切り替える。

重要なのは今回の障害を直すことだけではありません。同じ種類の問題で、次回も人間を呼ぶ必要があるかまで設計対象にします。

同じ指示を二度したら、システムを疑う

「続けて」「最後までやって」「別の担当へ引き継いで」「止まっている理由を確認して」「問題がなければ次へ進めて」。同じ指示を人間が繰り返しているなら、なぜその指示がシステムのデフォルト動作になっていないのかを考える必要があります。

一度目は例外かもしれません。二度目はパターンかもしれません。三度目も同じ指示をしているなら、運用設計の問題である可能性が高い。人間の苛立ちは、「なぜまた自分がこれをやっているのか」を検出するシグナルとして使えます。

AIエージェント組織にも経営レイヤーが必要になる

複数エージェントを動かすと、誰に仕事を割り当てるか、何が進行中か、誰が変更を所有しているか、何をもって完了とするか、失敗時にretry・代替route・human escalationのどれを選ぶか、といった組織全体の問題が増えます。

必要なのはAIを一体追加することではなく、状態、権限、責任、品質基準、例外処理を管理するオーケストレーション層です。

私たちが以前公開したAIエージェントの運用OSも、この問題を考えるための前段にあります。HIRは、その運用OSが実際にどれだけ人間依存から抜けられているかを見る指標です。

最終的に減らしたいのは、作業時間より介入回数

一日の仕事を振り返り、「今日は何回AIが人間を呼び戻したか」を数える。そして一件ずつ「本当に人間が判断すべきことだったか」を問う。必要なら残す。必要なければ、その介入を次回なくします。

20回を10回へ。10回を3回へ。最終的には戦略、責任、予算、高い不可逆性、新しい未知の例外だけを人間へ上げる。

AI活用の成熟度を測る問いは、「このモデルは何ができますか」だけではありません。その仕事は、人間が見ていなくても最後まで完了しますか。

AIエージェント時代の業務改善は、人間の作業をAIへ置き換えるところでは終わりません。人間が逐一管理しなくても仕事が完了するように、組織そのものを設計し直す。私たちは、いまその段階に入っています。