Как тестировать ИИ-ассистента перед запуском

Перед запуском ИИ-ассистента стоит прогнать через десятки реальных клиентских запросов: простых, запутанных, неполных и тех, на которые в базе знаний вообще нет ответа.

Например, проверить, что он скажет клиенту, который спрашивает цену, путает названия тарифов, описывает задачу в нескольких абзацах или просит услугу, которой компания не оказывает.

Чтобы проверить ассистента всесторонне, тестовые запросы стоит собирать по нескольким направлениям.

1. Типовые вопросы

Начать можно с запросов, которые чаще всего получают менеджеры и поддержка: стоимость, условия, сроки, характеристики продукта, порядок оформления.

Здесь важно проверить точность ответа, формулировки и следующий шаг. Например, после вопроса о тарифе ассистент должен дать актуальные условия и помочь выбрать подходящий вариант.

2. Сложные и неоднозначные запросы

Дальше вопросы стоит усложнять.

Например: «Мы хотим подключить сервис для десяти сотрудников, но постоянно работать будут только четверо. Какой тариф нам подойдёт?»

В таком запросе может не хватать данных для точного ответа. Ассистент должен распознать это и задать нужные уточняющие вопросы.

3. Неполная информация

Клиент может написать: «Хочу вернуть заказ» или «У меня ничего не работает».

У ассистента пока нет контекста: какой заказ, когда он был оформлен, что именно произошло. Важно проверить, сможет ли он последовательно собрать недостающую информацию и только после этого продолжить диалог.

4. Вопросы, на которые ответа нет

Это один из самых важных этапов проверки. Можно специально спросить про несуществующий тариф, придумать услугу, которой нет у компании, или попросить назвать условия, которых нет в базе знаний.

Здесь хорошо видно, склонен ли ассистент додумывать информацию. Если данных недостаточно, он должен обозначить это, уточнить запрос или передать диалог сотруднику.

5. Границы ответственности

Отдельно стоит проверить ситуации, которые требуют участия человека.

Что произойдёт, если клиент просит индивидуальную скидку, хочет оформить претензию, задаёт нестандартный вопрос по договору или просит принять решение, которое ИИ принимать не должен?

Такие случаи нужно заранее заложить в тестирование вместе с правилами передачи диалога менеджеру.

Список тестовых запросов лучше собирать из реальных обращений клиентов, вопросов менеджеров и потенциально спорных ситуаций. Чем шире этот набор до запуска, тем точнее можно настроить поведение ассистента в реальной коммуникации.