AIエージェントは依頼を読み、プログラムを直し、テストまで自分で手順を選んで進められます。その一方で、本番のシステムを想定外に変えてしまうおそれもあります。この記事では運用保守のどこをAIエージェントに任せ、どこを人が承認するか、権限の絞り方、止める仕組み、サービスを選ぶときの確認点を整理します。
AIエージェントは、運用保守のどの作業を担えるのか?
依頼の整理、原因の調査、改修、テスト、確認用の画面の用意を担えます。本番への反映を決めるのは人です。
運用保守の作業を、AIエージェントに任せる作業と人が残す判断に分けると次のようになります。運用と保守の違いや保守の範囲は運用保守とは?で整理しています。
| 作業 | AIエージェントが担うこと | 人が残すこと |
|---|---|---|
| 依頼の受け付け | 依頼文を読み、足りない点を質問して要件にまとめる | 何を先に直すかを決める |
| 原因の調査 | ログやプログラムを読み、不具合の原因の候補を挙げる | 業務への影響の大きさを判断する |
| 改修 | 確認用の環境でプログラムを直す | 改修に着手してよいかを決める |
| テスト | 変えた部分と影響する部分を確かめる | テストで足りているかを見る |
| 確認用の画面 | 変更を試せる画面を用意する | 依頼した人が実際に触って確かめる |
| 本番への反映 | 承認された変更を反映する手順を進める | 反映してよいかを業務の責任者が承認する |
| 大きな変更 | 調査の結果をまとめる | エンジニアが設計と進め方を決める |
人が残す列は、業務の事情や変更の影響を見て決める判断です。AIエージェントに任せる範囲を広げても、この列は空にしません。
AIエージェントに保守を任せると、どんなリスクがあるのか?
想定しない操作、必要以上の権限による被害、誤った情報にもとづく変更が起こり得るため、事前の対策が要ります。
AIセーフティ・インスティテュート(AISI)のAIセーフティに関する評価観点ガイド(第1.20版)は、2026年7月の改訂でAIエージェントシステムの評価観点を加えました。AIエージェントは複雑な作業をこなせるため、事前の評価だけでは振る舞いを把握しきれず、想定しない不適切な動作をする可能性があるとしています。記憶が誤った情報で汚染された場合に、誤った推論のまま動作が続く可能性も挙げています。
OWASPのLLM06:2025 Excessive Agency(過剰な権限)は、AIの出力が想定外だったり、あいまいだったり、外から操作されたりしたときに、損害を生む操作が実行されてしまう弱点を挙げています。主な原因として次の三つを挙げています。
| 原因 | 内容 | 業務システムの保守での例 |
|---|---|---|
| 機能が多すぎる | 目的に要らない機能まで使える | 調査だけのはずが、ファイルの削除までできる |
| 権限が強すぎる | 目的に要らない権限で他のシステムにつながる | 読むだけでよいデータベースに、書き込みと削除の権限でつながる |
| 自律性が高すぎる | 影響の大きい操作を確認なしで実行する | 本番の設定の変更を、誰の承認もなく反映する |
AIエージェントに渡す権限は、どう絞ればよいのか?
改修と検証に要る機能と権限だけを渡し、本番のデータや設定を直接変える権限は渡さない形にします。
OWASPは対策として、AIエージェントが使える拡張機能を必要最小限にすること、機能の中身も必要最小限にすること、何でも実行できる汎用のコマンドを避けること、他のシステムへの権限を必要最小限にすることを挙げています。AISIのガイドも予防的な対策として、情報とツールへのアクセス権限を必要な範囲に限ることと、許可されていないファイル操作をできないようにすることを評価の観点に挙げています。
業務システムの保守に当てはめると、AIエージェントが触るのは確認用の環境とプログラムの写しにとどめ、本番の環境には承認を経た変更だけが届く形にします。権限の段階の分け方はAIエージェントにどこまで権限を渡してよいか?で詳しく整理しています。
人は、どの時点で承認すればよいのか?
改修に着手する前の要件の確認と、本番に反映する前の確認の二か所で、業務の責任者が承認します。
OWASPは影響の大きい操作の前に人の承認を求める仕組み(human-in-the-loop)を対策に挙げています。デジタル庁のDS-100は第3編第9章で、情報システム管理者が運用と保守の作業の最終的な確認と決定を行うと定め、保守でシステムを改修するときは設計・開発のときと同じく設計書の変更管理などを行うとしています。AIエージェントが作業しても、最後に決める人と変更の記録は変わりません。
| 承認の場面 | 承認する人 | 見るもの |
|---|---|---|
| 改修の着手 | 依頼した人、または業務の責任者 | AIエージェントがまとめた要件と、影響する画面や帳票 |
| 本番への反映 | 業務の責任者 | 変更の前後、確認用の画面で試した結果、テストの結果 |
| 承認後に内容が変わったとき | 業務の責任者 | 変わった点。承認を取り直す |
外部の会社に保守を頼む場合も、承認の扱いは契約で決めておきます。IPAの情報システム・モデル取引・契約書〈第二版 追補版〉は、保守業務契約の第5条で、事前の合意があればベンダが遠隔からサーバに入って保守できるとし、そのたびに発注側の個別の承認を得るかは重要事項説明書で定めるとしています。承認の置き方の考え方は承認の関所とは?でも整理しています。
AIエージェントを止める仕組みには、何が要るのか?
実行の履歴を残して異常を見つけられること、人が介入して止められること、使いすぎたら止まることが要ります。
AISIのガイドはAIエージェントの評価を「観測」と「制御」の二つの視点で整理しています。観測は、全体を継続して監視して権限外の動作などを見つけること、制御は、問題のある動作が見つかったときに停止・修正できる仕組みを持つことです。
| 視点 | ガイドが挙げる評価項目の例 | 運用保守での確かめ方 |
|---|---|---|
| 観測 | 内部の呼び出しや実行の履歴 | AIエージェントが何を読み、何を変えたかの記録が残るか |
| 観測 | ファイルへの書き込み・削除や権限の昇格など、リスクの高い作業の検知 | 削除や権限の変更が起きたときに分かるか |
| 観測 | 当初の目標や利用者の意図からの動作のずれ | 依頼と違う変更をしていないかを確かめられるか |
| 観測 | 計算資源の使用量の記録 | 月の利用量が見えるか |
| 制御 | 異常を見つけたときの人の介入・停止 | 担当者が作業を止められるか |
| 制御 | 使用量に応じた処理の中断 | 上限に達したら止まるか |
止める仕組みは事故を防ぐためだけでなく、費用の上限を守るためにも要ります。止める条件の決め方はAIエージェントにどこまで権限を渡してよいか?の停止の章も参考になります。
AIエージェントの保守サービスを選ぶとき、何を確かめればよいのか?
渡す権限の範囲、承認の手順、止まる条件、料金の上限、AIで進めない大きな変更の扱いを、契約前に確かめます。
| 確かめること | 問い |
|---|---|
| 対象のシステム | どの業務システムに使えるか。他社が作ったシステムは引き継ぎが要るか |
| 権限の範囲 | AIエージェントは本番の環境やデータを直接変えられるか |
| 承認の手順 | 誰が、何を見て、本番への反映を承認するか。承認後に内容が変わったらどうなるか |
| 記録 | 依頼、変更の中身、承認の記録が残り、後から見られるか |
| 止まる条件 | 月の上限に達したら止まるか。上限を超える利用に事前の許可が要るか |
| 大きな変更 | AIで進めない変更を、誰がどう引き継ぐか |
| 保守契約との関係 | 不具合の修正と改修が、どちらも月額に入るか |
最後の点は通常の保守契約と比べるときに大切です。保守契約の月額に何が入るかの見方は保守契約とは?で整理しています。
AIエージェントが常設する運用保守のサービスはあるのか?
あります。業務システムにAIエージェントを常設し、責任者の承認を経て本番へ反映するサービスがあります。
HeygoodのHeygood Guideは、業務システムに常設するAIエージェントの運用保守担当です。直したい画面を開いたままチャットに書くと、内容が足りない点はAIエージェントが質問して確かめ、要件の整理、改修、検証を進めて確認用ページを用意します。依頼した人が確認し、業務の責任者が承認し、Heygoodが確認してから本番へ反映します。承認した後に内容が変わった場合は承認を取り直します。
月の枠の上限に達すると新しいAIの実行を止め、枠を超える利用は事前に許可をいただいた場合だけ行います。規模や影響の大きい変更はAIで自動的に進めず、調査結果を付けてHeygoodのエンジニアが引き継ぎます。対象はHeygoodが開発した、または引き継いだ業務システムで、料金は月額5万円(税別)からです。他社が開発した業務システムをお使いの場合は、引き継ぎからご相談ください。