承認の関所とは、AIエージェントが取り消しにくい操作へ進む直前に、人が証拠を見て「通す」か「止める」かを決める場所です。AIに任せる範囲を広げるほど、人の仕事は作業そのものから、この関所での判断へ移ります。この記事では、関所の定義、稟議との違い、関所で見る証拠、関所が多すぎると起きること、事後確認へ移してよい条件を整理します。
承認の関所とは何か？
AIが進めた仕事を、送信や確定のような戻しにくい操作の直前で止め、人が通すかを決める場所です。
関所は、AIの作業を途中で何度も確かめる仕組みではありません。下書きや候補づくりのように後から直せる作業はAIに進めさせ、戻しにくい操作の手前だけで待たせます。そのため、関所の数は作業の数より少なくなります。
「承認の関所」はHeygoodが使っている呼び方です。社内の稟議や決裁の承認と区別するために、この名前で呼んでいます。
| 比べる点 | 稟議・決裁 | 承認の関所 |
|---|---|---|
| 誰が進めた仕事か | 人が起案した内容 | AIが作業と検証まで進めた結果 |
| いつ止まるか | 起案の後、実行の前 | 取り消しにくい操作の直前 |
| 承認者が見るもの | 起案書と添付資料 | 変更の中身、根拠、検証の結果 |
| 承認しないとき | 差し戻しや却下 | その場で止め、理由を付けてAIへ戻す |
なぜAIに任せる範囲を広げるほど、関所が大事になるのか？
AIが一度に進める作業が長くなるほど、途中の誤りが最後の操作まで運ばれやすくなるためです。
Anthropicはエージェント設計の解説で、エージェントが途中の確認点や行き詰まったところで人の判断を待てるようにすること、繰り返しの上限のような止める条件を入れておく設計を紹介しています。AIが自分で判断しながら進むほど、どこで人に戻すかを先に決めておく必要があります。
一問一答で使っているうちは、答えを使うかどうかを毎回人が決めています。仕事の一巡をAIに任せると、その判断の機会がなくなります。関所は、なくなった判断の機会を、戻しにくい操作の手前にまとめて置き直すものです。
関所は、どの操作の前に置くのか？
社外への送信、金銭、契約、公開、権限の変更など、実行した後に取り消しにくい操作の直前に置きます。
置く場所を決める基準は、実行した後に元へ戻せるかどうかです。社内の下書きを作り直すのは簡単ですが、顧客へ送ったメールや支払った代金は戻せません。操作ごとの細かい分け方と止める条件は、AIエージェントの権限の決め方で扱っています。
| 操作 | 関所を置くか | 理由 |
|---|---|---|
| 社内資料の検索と要約 | 置かない | 使うかどうかを読む人が決める |
| 返信文や報告書の下書き | 置かない | 送る前に人が直せる |
| 顧客や取引先への送信 | 置く | 送った内容は取り消せない |
| 金額の確定や支払い | 置く | 金銭の誤りは戻すのに手間がかかる |
| サイトやシステムへの公開 | 置く | 公開後に多くの人の目に触れる |
| 権限や設定の変更 | 置く | 誤ると他の作業の安全が崩れる |
関所で、人は何を見れば判断できるのか？
変更の中身、判断に使った根拠、検証の結果の三つを、一つの画面でそろえて見られるようにします。
関所で「実行してよいですか」とだけ聞かれても、人は判断できません。見るものがなければ、承認はただの確認作業になります。
- 変更の中身：何を、誰に、どう変えるのか。変更の前と後
- 判断に使った根拠：参照した資料、価格表、過去のやり取り
- 検証の結果：自動のテストやチェックを通ったか、通らなかった項目は何か
Heygoodが自社の開発現場で回しているLoopでも、AIは実装と検証を終えたあと、テストの結果と変更点を証拠として付けて返します。人はその証拠を見て、通すか差し戻すかを決めます。
関所が多すぎると、何が起きるのか？
承認待ちで仕事が止まり、承認する人が中身を見ずに通す「形だけの承認」が起きやすくなります。
EUのAI法は、第14条の人間による監督の中で、監督する人がAIの出力に頼りすぎる傾向（自動化バイアス）を意識できるようにすることを求めています。あわせて、出力を使わない、覆す、システムを止めるといった判断ができることも求めています。この条文は高リスクのAIシステムを対象にしたものですが、関所を設計するときにも同じ考え方が当てはまります。
関所の数を増やすほど、一件あたりに使える時間は短くなります。承認する人が毎日何十件も同じ画面を通していると、見落としが起きやすくなります。関所は、承認する人が中身を読める数に絞ります。
関所を事後確認へ移してよいのは、どんなときか？
取り消しが効き、影響が小さく、差し戻しがしばらく出ていない操作は、事後にまとめて確かめる形へ移せます。
関所は一度決めたら動かさないものではありません。運用しながら記録を見て、置き場所を見直します。NISTのAI RMF Coreも、人による監督の手順を定めて文書にし、見直すこと、意図と違う結果が出たAIを止めたり切り替えたりする責任を決めておくことを挙げています。
| 見る点 | 事後確認へ移してよい状態 | 関所に残す状態 |
|---|---|---|
| 取り消し | 後から直せる | 実行した後は戻せない |
| 影響の大きさ | 社内だけ、金額が小さい | 社外、金銭、契約、公開 |
| 差し戻しの記録 | 一定の件数と期間、差し戻しが出ていない | 差し戻しや修正が続いている |
| 止める手段 | 異常のときに止める手順がある | 止める手順がない |
事後確認へ移した後も、確かめる頻度と、問題が見つかったときに関所へ戻す条件は残しておきます。
関所の設計は、何から始めればよいか？
AIに任せたい業務の工程を書き出し、取り消しにくい操作に印を付けて、そこから関所を置きます。
最初からすべての工程に関所を置く必要はありません。
- 業務の工程を、作業の順に書き出す
- 工程ごとに、実行した後に取り消せるかを書き込む
- 取り消しにくい操作の直前に関所を置き、承認する人を決める
- 関所で見る証拠（変更の中身、根拠、検証の結果）を決める
- 運用しながら差し戻しの記録を取り、関所の置き場所を見直す
HeygoodのAI活用構想ワークショップでは、業務を工程に分けてAIに渡す工程と人が判断する工程を線引きし、関所の置き場所まで決めます。AI活用の5段階で自社の現在地を確かめてから、無料相談でご相談いただくこともできます。