Глава 8

Одобрения и доверие

Как решить, что агент может делать сам, что дожидается клика человека, и как потом проверить, что произошло на самом деле.

Все главы

Два отдельных вопроса

Надзор в Olano отвечает на два независимых вопроса, и то, что они разделены, делает настройки гораздо понятнее.

  1. Какие действия требуют одобрения? Устойчивое, индивидуальное для каждого агента решение, складывающееся из профиля, пары переключателей и необязательных переопределений по инструментам.
  2. Что происходит, когда такое возникает? Встроенная карточка, если разговор наблюдает человек, или элемент в очереди в папке одобрений, если ход выполнялся без присмотра.

Уровни доверия 0-4

У каждого агента есть уровень доверия, описывающий, сколько автономии ему предоставлено. По умолчанию для нового агента — уровень 2.

УровеньИмяЧто он может делать
0НаблюдательТолько чтение. Может смотреть и предлагать, но ничего не меняет.
1АссистентМожет писать в собственную память и логи. За пределами себя по-прежнему ничего не трогает.
2СоавторМожет создавать и редактировать файлы рабочей области и выполнять команды в настроенной для него среде.
3АвтономныйПолный доступ к рабочей области; операции, отнесённые к низкому риску, согласуются автоматически.
4РазработчикСамая широкая настройка, включающая доступ к локальной оболочке, и автоматически одобряющая большинство операций. Предназначена для разработки, а не для агента, работающего с клиентами.
Всегда верно

Операции высокого риска требуют участия человека на любом уровне доверия. Уровень 4 не означает «одобрений больше не будет» — он расширяет то, что считается рутиной, а не то, что считается опасным.

Шлюзы согласования по категориям

Эта Надзор на вкладке Overview агента задаёт базовый уровень с помощью Режимползунка, и каждый режим добавляет к набору одобрений категорию действий:

РежимЗадерживается для одобрения
ДоверенныйФинансовые операции и запись секретов.
Под надзоромВсё вышеперечисленное, плюс запись во внешние системы, команды оболочки и чтение секретов.
Под замкомВсё перечисленное выше, плюс запись в файловую систему и делегирование работы субагенту.

Поверх любого выбранного режима накладываются два переключателя: Спрашивать перед действиями записи добавляет внешнюю запись, а Спрашивать перед командами оболочки добавляет оболочку. Используйте их, когда нужна общая свобода уровня Доверенный, но не для одной конкретной категории.

Выше всего стоит переопределение для отдельного инструмента. На вкладке Инструменты агента свёрнутый раздел Переопределения одобрения (расширенные) перечисляет каждый выбранный инструмент с его действующим статусом и По умолчанию / Всегда спрашивать / Никогда не спрашивать -элемент управления. Эта настройка перевешивает профиль и переключатели — так вы закрепляете, что один опасный инструмент всегда спрашивает разрешения у в остальном доверенного агента, — или наоборот, для инструмента, который вы наблюдали уже сотню раз.

На той же карточке есть и переключатели сканирования: проверка входящего и исходящего текста на личные данные и скрытие секретов из ответов. Они работают независимо от одобрений.

Ответ на запрос одобрения

Пока за этим следит человек, запрос появляется прямо в разговоре в виде карточки со значком риска и тремя кнопками: Разрешить один раз, Разрешить всё (он автоматически одобряет остаток этого хода) и Отклонить. Карточка без ответа истекает по тайм-ауту и считается отклонённой, так что забытый разговор никогда не оставляет действие висящим бесконечно.

В шапке чата есть режима переопределяет постоянную настройку агента только для этого разговора:

  • Авто — одобряет каждый вызов инструмента в этой сессии. Без карточек.
  • Ручной — спрашивает перед каждым инструментом с ограничением.
  • Тариф — просит агента сначала набросать план. План появляется с кнопкой Одобрить и выполнить ; чтобы его доработать, просто напишите уточнение, оставаясь в режиме Plan.
  • Выполнить — одобряет всё, чтобы выполнить план, который вы только что утвердили.

План — режим для первых нескольких раз, когда вы поручаете агенту дело с последствиями. Вы успеваете прочитать намеченную последовательность до того, как что-либо из неё произойдёт.

Папка одобрений

Не за каждым ходом кто-то следит. Когда запланированный запуск, автономная фаза или задача, делегированная другим агентом, натыкается на инструмент с ограничением, действие откладывается в Одобрения раздел на экране Обзор , и работа приостанавливается.

Каждый пункт называет инструмент, показывает значок риска и указывает агента-источника и путь, которым пришёл вызов. Одобрить возобновляет заблокированный ход; Отклонить завершает его. Пункт Overview на боковой панели носит счётчик в реальном времени, и то же число приводит в действие колокольчик уведомлений, так что ожидающее одобрение видно из любого раздела панели.

Осторожно

Пункты в папке одобрений держат ход открытым. Если никто не заглядывает в папку, ночная задача, которая должна была отправить отчёт, так и лежит там вместо того, чтобы выполниться. Проверяйте её в рамках той же привычки, с которой вы смотрите ежедневные главные события.

История аудита

Несколько экранов фиксируют произошедшее, и каждый отвечает на свой вопрос.

ГдеОтвечает на
РевизииЧто изменилось в конфигурации и документах рабочего пространства, когда и на чьём ходу агент внёс это изменение. Отфильтруйте по одному файлу, чтобы увидеть его историю, и просматривайте любую версию именно такой, какой она была.
Рабочий журнал InsightsЧто было сделано в конкретный день, по каждому агенту, с текстовым описанием и статистикой использования по агенту.
Агент — агентуКаждое сообщение между агентами: с запросом, ответом и тем, сколько времени это заняло.
История SchedulerУспешно или неудачно завершился каждый запланированный запуск.
Активность CortexЧто движок улучшений сделал сам, с отменой в один клик для каждого изменения.
ЛогиНеобработанный журнал выполнения с фильтром по уровню — то место, куда стоит заглянуть, если что-то не запустилось.

Revisions — это раздел, о котором стоит знать заранее, до того как он понадобится. Он записывает автоматически, а кнопка Снимок сейчас сразу фиксирует отложенные изменения, когда вы только что что-то отредактировали и хотите, чтобы запись была точной.

Лимиты использования

Три отдельных ограничения удерживают потребление агента в рамках.

  • Ограничения частоты сообщений. На агента, а по желанию — и на канал, в окнах по минутам, часам и суткам. Задайте общий для всей установки стандарт в Настройки и ужесточите его для отдельного агента через его Ограничения частоты карточку. При превышении лимита сообщение вообще не доходит до модели, а отправителю говорят попробовать снова чуть позже. Запланированная и автономная работа освобождены от этого.
  • Ограничения на ход. Эта Доступ и безопасность ограничивает, как долго может работать один ход — бюджет итераций плюс лимиты повторов, — так что застрявший агент останавливается, а не зацикливается.
  • Дневной бюджет на рассуждение. У Cortex есть собственный дневной лимит на дорогие автономные запуски; когда он исчерпан, автономные фазы пропускаются до завтра, а не переходят на более дешёвую модель. См. главу 7.

В управляемой установке остаток кредитов виден на Overview и в Insights, разбитый на включённое и докупленное, с ежемесячным счётчиком сброса — так что расход — это то, за чем вы наблюдаете, а не то, что вы обнаруживаете постфактум.

Хранилище учётных данных

Любой секрет, который использует агент, живёт в зашифрованном Хранилище хранилище — и только там. В частности, токены каналов — это поля хранилища, а не поля конфигурации: файл конфигурации агента вообще никак не называет эти учётные данные. При включённых командных аккаунтах хранилище доступно только администраторам.

Каждый секрет можно сделать общим или ограничить область его действия. Общую запись использует каждый агент; переопределение того же имени на уровне агента даёт одному агенту собственное значение — именно так десять Telegram-ботов используют одно понятное имя учётных данных вместо десяти придуманных. Вкладка Переменные Vault агента управляет собственными переопределениями и доступна как владельцу этого агента, так и администраторам, тогда как общее хранилище всей установки остаётся только для администраторов.

Значения никогда не показываются модели и никогда не логируются. Когда вы меняете значение, учётные данные наборов инструментов вступают в силу со следующего хода агента, тогда как ключи поставщиков моделей и токены каналов считываются при запуске и требуют перезапуска.

Примечание

Если хранилище заперто, коннекторы, которым нужны учётные данные, не запускаются, и уведомление на Overview сообщает об этом. Разблокировка позволяет этим агентам подключиться заново. Запертое хранилище никогда не теряет сохранённое значение — оно просто пока не может его прочитать.