Как оценивать качество ответов ИИ-агента на реальных вопросах клиентов

1. Сначала определите, что для клиента считается хорошим ответом

Качество невозможно измерить одной общей оценкой «нравится» или «не нравится». Для каждого типа обращения заранее сформулируйте ожидаемый результат. Например, клиенту может требоваться понятное объяснение, инструкция из нескольких шагов, уточняющий вопрос, ссылка на актуальный материал или передача обращения специалисту.

Разделите обращения на группы: типовые вопросы, вопросы с несколькими условиями, конфликтные ситуации, запросы о статусе и вопросы, где нельзя принимать решение автоматически. Для каждой группы укажите, какие сведения агент может сообщать, какой контекст ему нужен и в какой момент ответ должен быть передан человеку.

Полезно описывать эталон не как единственную фразу, а как набор обязательных элементов. Для вопроса о статусе это могут быть корректное обозначение доступного статуса, отсутствие неподтверждённых обещаний и понятный следующий шаг. Тогда редактор или руководитель оценивает смысл ответа, а не только совпадение формулировок.

2. Проверяйте фактическую точность и работу с контекстом

Первый критерий — соответствуют ли утверждения в ответе данным, которые действительно доступны агенту. Ошибка особенно заметна, когда ИИ уверенно добавляет детали, которых не было в вопросе или базе знаний: сроки, условия, причины проблемы, возможности продукта или действия клиента.

Контекст важен не меньше отдельных фактов. Если клиент уже указал номер заявки, канал обращения, цель платежа или предыдущее действие, агент не должен механически спрашивать то же самое. Но он должен уточнить данные, которых действительно не хватает для корректного ответа.

Отдельно отмечайте случаи, когда агент смешивает похожие процессы. Например, создание платежной ссылки, проверка статуса операции и заявка на выплату могут быть разными действиями. Точный ответ различает их, не подменяет один процесс другим и не делает выводов о состоянии операции без доступных данных.

3. Оценивайте полезность, ясность и следующий шаг

Фактически верный ответ может оказаться бесполезным, если клиент не понимает, что делать дальше. Проверьте, отвечает ли агент на основной вопрос в начале сообщения, использует ли понятные слова и даёт ли выполнимое действие: предоставить недостающую информацию, проверить статус в интерфейсе, повторить шаг или дождаться ответа ответственного сотрудника.

Хорошая структура обычно проста: короткий прямой ответ, необходимые условия или ограничения, затем следующий шаг. Если вопрос сложный, агенту лучше разбить инструкцию на последовательные действия, чем скрывать решение в длинном абзаце. При этом не стоит превращать каждый ответ в шаблон с лишними предупреждениями.

Попросите проверяющего прочитать ответ как клиент. Можно ли по нему выполнить действие без дополнительной расшифровки? Понятно ли, какие данные подтверждены, а какие требуется уточнить? Есть ли в ответе фраза, создающая ложное ощущение завершённости, хотя задача ещё требует проверки?

4. Измеряйте качество на выборке реальных сценариев

Для регулярной проверки соберите обезличенную выборку настоящих обращений или заранее подготовленных сценариев, похожих на них. В ней должны быть не только простые вопросы. Добавьте неполные запросы, неоднозначные формулировки, смену темы в одном диалоге, повторные обращения и ситуации, где клиент просит то, чего агент не должен решать самостоятельно.

Заведите шкалу с несколькими независимыми критериями: точность, полнота, релевантность контексту, ясность, корректность тона, наличие следующего шага и своевременная передача человеку. Лучше фиксировать причину каждой низкой оценки. Формулировка «ответ плохой» мало помогает улучшить сценарий, а «назван срок без подтверждения» указывает на конкретный риск.

Сравнивайте результаты по типам вопросов, а не только общий средний балл. Агент может хорошо справляться с навигационными вопросами и регулярно ошибаться на исключениях. Полезно также отслеживать долю ответов, после которых клиент повторно задаёт тот же вопрос: это не абсолютный показатель, но он может сигнализировать о неясности или неполноте.

5. Не путайте автоматизацию с ответственностью за решение

ИИ-агент может подготовить ответ на основе переданного контекста, но ответственные решения остаются за человеком. Это правило особенно важно для обращений, где требуется подтвердить исключение, изменить условия, интерпретировать спорную ситуацию, принять финансовое или юридически значимое решение.

В критерии качества стоит включить умение агента признавать границу своих полномочий. Корректная передача не выглядит как отказ без помощи: агент кратко объясняет, какую информацию может сообщить сейчас, какие данные нужны для проверки и что вопрос будет направлен ответственному человеку или в предусмотренный процесс.

Частая ошибка — считать эскалацию признаком слабого ИИ. На практике рискованнее уверенный ответ там, где данных недостаточно. Качественный агент не имитирует уверенность и не обещает исход. Он помогает клиенту пройти до точки, в которой решение может быть принято и подтверждено ответственным человеком.

6. Практическая проверка сценария в AIROBO

В AIROBO ИИ-роли работают с переданным им контекстом. Для теста задайте агенту вопрос, в котором есть только проверяемые сведения, и отдельно подготовьте ожидаемые элементы ответа. Например, можно проверить, объяснит ли агент, что криптосчёт фиксирует сумму и назначение, а клиент получает платежную ссылку.

Следующим шагом проверьте вопрос о ходе операции. В корректном сценарии агент не должен придумывать статус: статус операции проверяется в интерфейсе. Для криптосчёта также можно проверить, что агент предлагает выбрать доступный USDT или USDC и поддерживаемую сеть, не обещая доступность конкретного варианта во всех случаях.

Отдельно протестируйте границы процесса выплат. Выплата оформляется отдельной заявкой и имеет свой статус, поэтому агент должен различать её с оплатой по ссылке. Доступность, лимиты и сроки могут зависеть от провайдера, сети и конкретного подключения. Если вопрос выходит за рамки переданного контекста или требует ответственного решения, его следует передать человеку, а не дополнять предположениями.

Итоги

Надёжная оценка строится на повторяемых клиентских сценариях, понятных критериях и разборе конкретных ошибок. Проверяйте не только точность текста, но и то, понял ли агент контекст, помог ли он выполнить следующий шаг и не присвоил ли себе полномочия человека.

Регулярно обновляйте выборку по реальным обращениям и пересматривайте инструкции там, где ошибки повторяются. Так ИИ-агент становится не витриной с красивыми ответами, а управляемым рабочим инструментом для клиентских задач.