Сбой, которого никто не ждёт
Спросите универсального ассистента, какой в вашей компании срок уведомления об увольнении, и он ответит. Гладко. Нужным тоном, в нужной структуре и с числом, которое звучит ровно как срок уведомления. Оно может даже оказаться верным — статистически что-то близкое встречается часто.
В этом и проблема. Неверный ответ, который выглядит неверным, ловится за секунду. Неверный ответ, который выглядит верным, пересылают дальше, вставляют в договор, цитируют клиенту. Цена ИИ внутри компании почти никогда не подписка. Это один уверенный ответ в месяц, который никому не пришло в голову проверить, потому что в нём не было ничего, что требовало бы проверки.
Поэтому вопрос к любому ассистенту, которого вы ставите перед командой, не «насколько хороши его ответы». Вопрос такой: что он делает, когда для ответа нет никаких оснований?
Опора на источники: отвечать из того, что у вас действительно есть
Общая модель отвечает из всего, что когда-либо прочитала. Ассистент с опорой на источники отвечает из определённого набора ваших собственных материалов — регламент, договоры, процедуры, прайс-листы — и больше ни из чего.
Это ограничение звучит как недостаток. На деле это и есть весь продукт.
Разница видна сразу. Задайте обоим один и тот же вопрос о вашей политике возврата. Общая модель выдаст разумный отраслевой ответ. Ассистент с опорой выдаст вашу политику — или скажет, что ваша политика такой случай не покрывает. Полезен только один из них, и это тот, который иногда говорит меньше.
Опора меняет и то, что значит ошибка. Модель без опоры ошибается невидимо: рассуждение спрятано внутри модели. Модель с опорой, ошибаясь, указывает на документ, и вы можете открыть этот документ и увидеть, что он устарел. Ошибка становится находимой. Это другой класс системы.
Система, которая может ошибиться так, что ошибку можно проследить, безопаснее системы, которая обычно права по причинам, которые вы не можете проверить.
Ссылка на источник — не сноска, а интерфейс
Многие инструменты сегодня добавляют под ответом маленькую ссылку «источник». Считать её украшением — значит не увидеть, что она делает.
Ссылка меняет поведение пользователя. Когда источник виден, люди открывают его на тех ответах, которые важны, и пропускают на остальных — ровно такое распределение человеческого внимания и нужно. Когда источника нет, люди либо не проверяют ничего, либо проверяют всё, и оба исхода плохи.
Ссылка меняет и поведение разработчика. Как только каждый ответ обязан указывать на документ, прикрыть скудную базу знаний красноречивой моделью уже не получится. Пробелы в содержании становятся видны как пробелы в ответах. Ассистент превращается в аудит вашей собственной документации — обычно неудобный и всегда полезный.
Сделайте источник конкретным. «Из регламента для сотрудников» — не ссылка; раздел, версия и дата — ссылка. Если ответ пришёл из документа, который последний раз обновляли три года назад, читатель заслуживает узнать это до того, как начнёт действовать.
Права доступа — часть ответа, а не настройка
Ассистент, которому можно читать всё, рано или поздно скажет кому-то то, что говорить не следовало. Не по злому умыслу — просто вопрос был сформулирован так, что вытянул данные о зарплатах, черновик договора или документ отдела, к которому этот человек не имеет отношения.
Решение — не фильтр, прикрученный задним числом. Решение — сделать доступ той почвой, на которой стоит ответ: ассистент извлекает только из того, что спрашивающему и так разрешено открыть, так что два коллеги могут задать один и тот же вопрос и совершенно правильно получить разные ответы. Если в компании уже есть оргструктура и права на документы, именно она должна управлять ассистентом. Если ассистенту нужна собственная модель прав, у вас теперь две системы, которые надо держать в синхронизации, и они разойдутся.
Сделайте долю отказов числом, за которым следите
Вот метрика, которую почти никто не отслеживает: как часто ассистент отказывается отвечать?
Если она близка к нулю, система не честна — ни один набор документов не покрывает всё, о чём спрашивают люди. Если она очень высока, база знаний слишком скудна или поиск не работает. Где-то между ними — система, которая говорит вам правду о том, чем располагает.
Ещё лучше: относитесь к каждому отказу как к сигналу, а не к тупику. Вопрос, на который ассистент не смог ответить, — это вопрос, который ваша документация не покрывает. Логируйте их, группируйте — и у вас появится приоритизированный список того, что писать дальше, порождённый реальными потребностями людей, делающих работу, а не тем, у кого нашлось время написать регламент.
Семь вопросов любому поставщику
Прежде чем что-то подписывать, пусть демо ответит на это:
- Спросите о том, чего ваши документы действительно не покрывают. Он скажет об этом или выдаст что-то правдоподобное?
- Спросите о том, в чём ваши документы противоречат друг другу. Он покажет конфликт или молча выберет одно?
- Откройте источник у трёх ответов. Вы попадаете на конкретный фрагмент или только на файл?
- Задайте один вопрос от лица двух людей с разными правами. Ответы различаются правильно?
- Спросите на одном языке о документе, написанном на другом. Реальные компании живут на разноязычных документах.
- Спросите о том, что недавно изменилось. Используется текущая версия или та, что была проиндексирована первой?
- Спросите, где данные обрабатываются и хранятся. Ответом должна быть фраза, а не встреча.
Поставщик, уверенный в своей системе, обрадуется первому и второму вопросу. Присмотритесь к тем, кто уводит демо в сторону от них.
Почему мы строим именно так
Мы поставили этот принцип в центр внутреннего рабочего пространства, которое строим: сотрудник спрашивает обычным языком, ответ берётся только из собственных документов компании, источник показывается, а когда источника нет, ассистент говорит, что не знает, вместо того чтобы заполнить пробел.
Последнее поведение выпустить сложнее всего, потому что из-за него демо выглядит хуже. Ассистент, который отвечает на всё, впечатляет минут десять. Ассистент, который иногда говорит «я не знаю, и вот где я искал», зарабатывает то, чего впечатляющее демо не даёт никогда: люди начинают ему верить, когда он всё-таки отвечает.
Это доверие и есть весь актив. Всё остальное — поиск.