第8章

承認と信頼

エージェントが自分の判断で何をしてよいか、何が人のクリックを待つべきか、そして実際に何が起きたのかをあとから確認する方法を決めること。

全章

二つの別々の問い

Olanoにおける監督は、二つの独立した問いに答えるものです。それらを分けておくことで、設定がずっと理解しやすくなります。

  1. どの操作に承認が必要か? プロファイル、いくつかのトグル、そして任意のツール別上書きから組み立てられる、エージェントごとの永続的な決定です。
  2. 承認が必要になったら、何が起きるのか? 人が会話を見ていれば、埋め込みカードとして。そのターンが誰も見ていない状態で動いていたなら、承認の受信箱に並ぶ項目として。

信頼レベル 0-4

すべてのエージェントは、どれだけの自律性を与えられているかを表す信頼レベルを持っています。新しいエージェントの既定はレベル2です。

レベルお名前できること
0オブザーバー読み取り専用。見ることと提案することはできますが、何も変更しません。
1アシスタント自分の記憶とログには書き込めます。それでも自分の外側には一切触れません。
2コラボレーターワークスペースのファイルを作成・編集し、設定された環境でコマンドを実行できます。
3自律ワークスペースへのフルアクセス。低リスクに分類された操作は自動的に承認されます。
4デベロッパーもっとも広い設定で、ローカルシェルへのアクセスも含み、ほとんどの操作を自動承認します。開発向けであり、顧客に対応するエージェント向けではありません。
常に当てはまる

リスクの高い操作は、どの信頼レベルであっても人の関与を必要とします。レベル4は「承認が二度と要らない」という意味ではありません。日常と見なす範囲を広げるだけで、危険と見なす範囲を変えるわけではありません。

カテゴリ別の承認ゲート

その Oversight エージェントのOverviewタブにあるカードが、 モードスライダーで基準を設定します。各モードは承認対象のセットにアクションのカテゴリを一つずつ加えていきます。

モード承認待ちにする対象
信頼金銭に関わる操作と、シークレットの書き込み。
監督上記に加えて、外部システムへの書き込み、シェルコマンド、シークレットの読み取り。
厳格上記に加えて、ファイルシステムへの書き込みとサブエージェントへの作業の委任。

どのモードを選んでいても、その上に二つのトグルが重なります。 書き込み操作の前に確認 は外部への書き込みを追加します。そして シェルコマンドの前に確認 はシェルを追加します。Trusted の全般的なゆるさは欲しいが、特定の一カテゴリーだけは別にしたいときに使います。

そのすべての上に来るのが、ツールごとの上書き設定です。エージェントの Tools タブでは、折りたたまれた 承認の上書き(詳細設定) セクションが、選ばれたツールをそれぞれ実際の状態とともに一覧表示し、 Default(既定)/Always ask(常に確認)/Never ask(確認しない) コントロールが付きます。この設定はプロファイルやトグルより優先されます。だからこそ、それ以外は信頼しているエージェントでも一つの危険なツールだけは常に確認させたり、逆にもう百回も見てきたツールだけは確認を省いたりできるのです。

同じカードには、スキャン用のスイッチもあります。送受信するテキストに個人情報がないか確認することと、返信から秘密情報を隠すことです。これらは承認とは独立に動作します。

承認への応答

人が見ているときは、依頼は会話の中にそのままカードとして現れ、リスクバッジとボタンが三つ付きます。 1回だけ承認すべて承認 (それがその1ターンの残りを自動承認します)、そして 拒否。回答のないカードはタイムアウトし、拒否として扱われます。だから、忘れられた会話が操作をいつまでも保留にしたままにはなりません。

チャットのヘッダーにある モード チップは、その一つの会話に限ってエージェントの常設設定を上書きします。

  • Auto 。このセッションのあいだ、ツール呼び出しをすべて承認します。カードは出ません。
  • Manual 。ゲートの掛かったツールの前に必ず確認します。
  • プラン 。まずエージェントに計画を立てさせます。計画は 承認して実行 ボタンとともに表示されます。練り直したいときは、Plan のままフォローアップを入力するだけです。
  • Act 。すべて承認して、たった今承認したばかりの計画を実行に移します。

Plan は、結果が伴う仕事をエージェントに任せる最初の数回に使うモードです。何かが実行される前に、その予定された手順を読むことができます。

承認の受信箱

すべてのターンに誰かが見ているわけではありません。スケジュール済みの実行、自律フェーズ、あるいは別のエージェントから委任されたタスクがゲート付きツールに行き当たると、その操作は Approvals セクションへ回され、 概要 画面に置かれて一時停止します。

各項目には、ツール名、リスクバッジ、そして呼び出し元のエージェントとその呼び出しが通ってきた経路が示されます。 承認 を押すと止まっていたターンが再開します。 拒否 を押すと打ち切ります。サイドバーの Overview 項目にはリアルタイムの件数が表示され、同じ数字が通知ベルにも反映されるので、承認待ちはダッシュボードのどのセクションからでも見えます。

注意

受信箱の項目は、ターンを開いたまま保持しています。誰も受信箱を見なければ、レポートを送るはずだった夜間ジョブは、実行されずにそこに留まったままです。毎日のハイライトを見るのと同じ習慣の一部として確認してください。

監査履歴

何が起きたかを記録する画面はいくつかあり、それぞれ違う問いに答えます。

どこ答える内容
Revisions設定やワークスペースの文書で何が変わったか、いつ、そしてどのエージェントのターンでその変更が起きたか。1つのファイルに絞ればその履歴が見られ、どのバージョンも当時そのままの姿で見られます。
Insights の作業日誌ある一日に何が行われたかを、エージェントごとに、文章による説明とエージェント別の使用状況とともに。
Agent to Agentエージェント間のすべてのメッセージを、依頼内容、返信、かかった時間つきで。
Scheduler の履歴スケジュールされた実行それぞれが成功したか失敗したか。
Cortex のアクティビティ改善エンジンが自分から何をしたか、各変更にワンクリックの取り消しつきで。
Logs生のランタイムログ、レベルで絞り込み可能です。何かが起動しなかったときに見るべき場所です。

Revisions は、必要になる前に知っておく価値のある機能です。自動的に記録され、 今すぐスナップショット 保留中の変更をすぐに確定させるボタンがあります。何かを編集したばかりで、記録を正確にしておきたいときに使います。

利用上限

三つの別々の上限が、エージェントの消費を制限内に収めます。

  • メッセージのレート制限。 エージェントごと、必要ならチャネルごとに、分単位・時間単位・日単位のウィンドウで設定します。環境全体の既定値は Config で設定し、個々のエージェントではその レート制限 カードから引き締められます。上限を超えると、メッセージはモデルに届かず、送信者にはしばらくしてから再度試すよう伝えられます。スケジュール済みと自律的な作業はこの対象外です。
  • ターンごとの上限。 その Access & Safety カードは、一つのターンがどれだけ長く動き続けてよいかを制限します。反復回数の予算に加え、再試行の上限もあります。これにより、立ち往生したエージェントはループするのではなく止まります。
  • 1日ごとの推論予算。 Cortex には、コストのかかる自律実行についての独自の1日あたりの上限があります。それを使い切ると、自律フェーズは安いモデルで動く代わりに翌日までスキップされます。 第7章.

マネージド環境では、クレジット残高は Overview と Insights で見え、含まれる分と購入した分に分かれて表示され、毎月リセットされるメーターも付いています。つまり消費量は、あとで気づくものではなく、見て把握しておくものです。

認証情報のボールト

エージェントが使うすべての秘密情報は、暗号化された VaultVault にだけ存在し、それ以外どこにもありません。特にチャネルのトークンは Vault のフィールドであって、設定のフィールドではありません。エージェントの設定ファイルには、その認証情報がどんな形でも書かれていません。チームアカウントが有効なとき、Vault は管理者専用です。

それぞれの秘密情報は共有することも、範囲を絞ることもできます。共通のエントリはすべてのエージェントが使い、同じ名前のエージェント別上書きは一つのエージェントだけに固有の値を与えます。まさにこうやって、十個の Telegram ボットは十個の適当な名前を作る代わりに、一つの分かりやすい認証情報名を使い回せるのです。エージェントの Variables Vault タブは自分自身の上書きを管理し、そのエージェントの所有者にも管理者にも開かれています。一方、環境全体の Vault は管理者専用のままです。

値がモデルに見えることも、ログに残ることも決してありません。値を変更すると、ツールキットの認証情報はエージェントの次のターンから有効になりますが、モデルプロバイダーのキーとチャネルのトークンは起動時に読み込まれるため、再起動が必要です。

注記

Vault がロックされていると、認証情報を必要とするコネクタは起動せず、Overview で通知がそのことを知らせます。ロックを解除すれば、それらのエージェントは再接続できます。ロックされた Vault が保存済みの値を失うことは決してありません。ただ、まだそれを読めないだけです。