Пусть агент ошибётся при вас: тест из десяти вопросов

В демо любой ИИ-агент выглядит блестяще. Но в демо вы задаёте именно тот вопрос, под который его и настраивали. Клиент спросит другое — в одиннадцать вечера, не на том языке и про товар, который вы сняли с продажи полгода назад. Самый дешёвый час во всём проекте — тот, что вы перед запуском потратите на попытки его сломать.

Выпишите десять вопросов в документ. Именно в документ, а не в голове: через месяц, после очередной правки, вы прогоните ровно те же десять.

• Три простых — ради чего всё и затевалось: цена, часы работы, доставка. Если плывёт здесь, остальное неважно.
• Два, где нужно отказать — просьба о скидке, юридический или медицинский вопрос. Правильный ответ — «позову человека», а не уверенная выдумка.
• Два с нехваткой данных — обрывок фразы, короткое «сколько стоит?». Хороший агент задаст уточняющий вопрос, а не придумает ответ.
• Два недружелюбных — грубая жалоба и попытка уговорить агента забыть свои инструкции.
• Один на другом языке — даже если вы этого не обещали. Кто-нибудь всё равно напишет.

По каждому ответу ставьте «прошёл» или «не прошёл», чините провалы и прогоняйте все десять заново. Десять минут на круг — и «вроде работает» превращается в то, что не стыдно показать клиенту.