Фреймворк VAULT: пять правил безопасного использования AI в работе

Промокод получили около 200 000 человек, хотя разослать его не должен был никто. Автономный агент неверно истолковал задачу и запустил рассылку сам, без остановки на согласование. Этот случай попал в основу фреймворка VAULT, который описывает MindStudio, опираясь на практику Goldman Sachs и публичные высказывания CIO банка Марко Ардженти. Пять букв аббревиатуры складываются в конкретные операционные правила, а не в декларацию о пользе ИИ.

Verify: проверка начинается до запуска модели

Уверенный тон ответа не означает его правильность. Модель может рассуждать полезно и убедительно, но дать в итоге неверный вывод. На этом скепсисе, выросшем из публичных высказываний Ардженти, и строится первое правило VAULT: рассуждение модели и её итоговый ответ проверяются отдельно, подтверждение одного не подтверждает автоматически другое.

Отсюда требование проверять данные на входе, до того как модель начала работу, а не только сверять результат постфактум. Практический приём здесь прямой: просить модель перепроверять собственные цифры, указывать источники утверждений и явно отмечать, где она не уверена.

Для решений с высокой ценой ошибки в контур добавляется отдельный ИИ-рецензент, который смотрит на вывод свежим взглядом, отдельно от модели, которая его сгенерировала. Такой рецензент не снимает необходимости базовой проверки: он оценивает форму и внутреннюю логику ответа, но не заменяет обращение к первоисточникам. Ключевые утверждения по-прежнему требуют либо первичных данных, либо детерминированных тестов, либо ревью человеком. Второй ИИ в цепочке ловит нестыковки в рассуждении, но фактическую достоверность гарантирует не он.

Augment: не каждая задача достойна агента

Второе правило снимает соблазн ставить ИИ туда, где справится обычная автоматизация. Если задача состоит из фиксированного набора шагов и не требует интерпретации неоднозначной информации, детерминированный скрипт проще тестировать и проще аудировать, чем модель. Результат заранее известен, и правила не меняются от запуска к запуску, поэтому агент здесь не нужен.

ИИ оправдан там, где нужно работать с неопределённостью и неструктурированной информацией, а не выполнять чек-лист. Признак подмены, о котором пишет MindStudio: результат агента уходит наружу без реального вклада человека. Augment в названии фреймворка означает дополнять, не заменять. Лучшие системы соединяют жёсткую автоматизацию для предсказуемых шагов с моделью для тех участков, где решение действительно неочевидно.

Understand why: одно предложение до старта проекта

Третье правило требует дисциплины на этапе замысла. Прежде чем строить систему, команда формулирует одно предложение о проблеме и одно предложение о желаемом результате. Без этого шага, по формулировке MindStudio, получаются впечатляющие системы, никому не нужные.

Understand why работает и как требование воспроизводимости: если решение модели нельзя объяснить внятной формулировкой “зачем”, его сложно защитить перед проверкой и сложно повторить в похожей ситуации. Это правило стоит раньше остальных не случайно: оно определяет, есть ли вообще смысл запускать процесс, который потом нужно верифицировать и логировать.

Loop humans in: точки участия соразмерны риску

История с промокодом на 200 000 адресатов иллюстрирует именно это правило. Автономный агент действовал без остановки там, где остановка была нужна, и ошибка масштабировалась мгновенно, потому что рассылка ушла всем сразу. Уровень человеческого контроля должен соответствовать риску конкретного действия: чем выше цена ошибки, тем плотнее в процессе должен стоять человек.

Практический приём из разбора MindStudio прямой: настраивать автоматизацию так, чтобы она создавала черновик, а не отправляла результат автоматически. Черновик письма вместо автоматической отправки в каждом случае оставляет точку, где человек может остановить процесс до того, как он станет необратимым. Loop humans in отвечает на вопрос, где именно в цепочке действий человек обязан стоять.

Transparency: журнал решений, а не декларация открытости

Пятый элемент VAULT требует логировать источники данных, допущения, использованные инструменты, проверки и ключевые решения на каждом этапе работы системы. Такой журнал не раскрывает сырые внутренние рассуждения модели: он фиксирует инспектируемые доказательства того, на чём основан результат.

Цель не в отчётности ради отчётности. Журнал позволяет регуляторам, клиентам или коллегам проверить систему и при необходимости перенять проект целиком, не восстанавливая логику по обрывкам. Это последний рубеж фреймворка: даже если верификация, дополнение вместо замены, ясная цель и контроль человека соблюдены, без такого журнала систему нельзя ни аудировать, ни передать другой команде.

Чек-лист без владельца остаётся плакатом

Мнемоничность VAULT, пять букв и пять понятных глаголов, делает фреймворк легко запоминаемым и удобным для внедрения в команде. Но у него, по оценке MindStudio, есть слабое место: сам по себе список правил не содержит механики принуждения. Без назначенного владельца каждого пункта и без встраивания правил в процесс приёмки работы фреймворк рискует остаться плакатом на стене, а не рабочим стандартом.

Это отличает разбор MindStudio от типичных материалов про использование ИИ. Здесь ставится вопрос о том, какие минимальные правила безопасности задать команде, прежде чем разрешать ей работать с агентами вообще. Такой запрос обычно формулируют не разработчики, а PMO и руководители.