Как проверить, что ИИ-помощник отвечает правильно: контрольный набор из 30 вопросов
На демо помощник почти всегда отвечает хорошо: вопросы для показа выбирают заранее. Проверять нужно на своих вопросах. Показываем, как за день собрать контрольный набор, какие ошибки считать и какой результат достаточен для запуска.
Обычная проверка выглядит так: руководитель задаёт помощнику пять вопросов, получает пять хороших ответов и делает вывод, что всё работает. Через месяц сотрудники жалуются, что помощник путает условия договоров.
Пять удачных ответов почти ничего не говорят о качестве. Нужен набор вопросов, который похож на реальную работу, с заранее известными правильными ответами. Тогда результат превращается в цифру, которую можно сравнить: между подрядчиками, до и после доработки, сегодня и через три месяца.
Из чего состоит набор
Мы начинаем с 30 вопросов четырёх видов. Для каждого заранее записываем правильный ответ и место в документе, где он лежит.
Контрольный набор: 30 вопросов
Четыре вида вопросов проверяют разное
То, что сотрудники спрашивают каждый день. Берите из рабочих чатов и почты, а не придумывайте
Ответ лежит в таблице, в скане, в нескольких документах сразу или зависит от исключения
Ответа в документах нет. Правильная реакция — «в документах этого нет»
Ответ есть только в отменённой версии или в документе, который этому сотруднику видеть нельзя
Частые вопросы показывают, как помощник справится с обычным днём. Сложные — где он сломается. Вопросы без ответа и с подвохом проверяют самое опасное: выдумывает ли он и показывает ли лишнее.
Три типа ошибок
Мало посчитать неверные ответы. Важно понять, где именно ошибка, — от этого зависит, что исправлять.
Где ошибся помощник
Тип ошибки подсказывает, что чинить
Нужный фрагмент не попал в поиск. Чинить данные и поиск, а не модель
Фрагмент найден, но ответ неверный: потеряно исключение или перепутана цифра. Чинить инструкцию и модель
Ответа в документах нет, а помощник уверенно ответил. Самая опасная ошибка: чинить правила
Чтобы отличить первый тип от второго, смотрите не только на ответ, но и на то, какие фрагменты помощник нашёл. Если нужного фрагмента среди них нет, менять модель бесполезно. Подробнее об этом — в статье про базу знаний.
Ответ без ссылки на источник засчитываем как неверный, даже если он правильный по смыслу: проверить его нельзя.
Пример: одна система до и после подготовки документов
Условный помощник по договорам с поставщиками. Сначала документы загрузили как есть, потом привели в порядок: распознали сканы, убрали старые версии, настроили права доступа. Модель не меняли.
57% → 90% верных ответов без смены модели
Верных ответов по видам вопросов · система и цифры условные
| Вопросы | Всего | До | После |
|---|---|---|---|
| Частые | 15 | 12 | 14 |
| Сложные | 8 | 3 | 6 |
| Без ответа | 4 | 1 | 4 |
| С подвохом | 3 | 1 | 3 |
| Итого | 30 | 17 (57%) | 27 (90%) |
Полоса — число ошибок до подготовки · система и цифры условные
Больше всего было ошибок «не нашёл», и почти все они ушли после подготовки документов. А три выдуманных ответа на вопросы без ответа исчезли, когда помощнику прописали правило: нет фрагмента — нет ответа.
Какой результат достаточен
Единого порога нет: он зависит от того, что будет с ответом дальше. Мы ориентируемся на такие цифры.
Порог для запуска
Чем меньше проверки после помощника, тем выше планка
| Что происходит с ответом | Верных ответов | Выдуманных | Размер набора |
|---|---|---|---|
| Черновик, который проверит человек | от 70% | не больше 1 из 4 | 30 вопросов |
| Ответ сотруднику со ссылкой на источник | от 85% | ни одного | 30–50 вопросов |
| Ответ клиенту без проверки | от 95% | ни одного | от 100 вопросов |
Наши ориентиры, а не стандарт · подставьте свою цену ошибки
Почему для ответов клиентам нужно больше вопросов: на 30 вопросах точность меряется грубо. Если помощник ответил верно на 27 из 30, его реальная точность с большой вероятностью лежит где-то между 74% и 97%. На 100 вопросах при 90 верных разброс сужается до 83–95%. Для черновика этого хватает и на 30 вопросах, для ответа клиенту — нет.
Как оценить цену ошибки в своём процессе, мы разбирали в статье о выборе первого процесса.
Проверка — не один раз
- После каждого изменения. Обновили документы, сменили модель, поправили инструкцию — прогоните тот же набор. Если цифра упала, изменение откатывают.
- Набор растёт. Каждый вопрос, на котором помощник ошибся в работе, добавляйте в набор с правильным ответом. Через пару месяцев он покрывает реальные слабые места.
- Раз в месяц — без повода. Документы меняются, и качество тихо падает, даже если в системе никто ничего не трогал.
Как собрать набор за день
- Выгрузите из рабочих чатов и почты вопросы за последний месяц и выберите 15 самых частых.
- Добавьте 8 сложных: где ответ в таблице, в скане или в нескольких документах.
- Придумайте 4 вопроса по теме, ответа на которые в документах точно нет.
- Добавьте 3 вопроса с подвохом: по отменённой версии и по документу с ограниченным доступом.
- Для каждого вопроса запишите правильный ответ, документ и пункт.
- Сделайте таблицу для оценки: вопрос, верно или нет, тип ошибки, есть ли ссылка на источник.
Набор останется у вас и пригодится при любом подрядчике. Вместо «покажите демо» можно сказать: «прогоните наши 30 вопросов».
Как это делаем мы
В Kalman Lab контрольный набор — первый результат работы, ещё до разработки. Мы собираем его вместе с вами, меряем качество до и после каждого изменения и показываем цифры по видам вопросов и типам ошибок. Запускаем, когда результат проходит порог, о котором договорились заранее.
Первый разбор задачи — 30 минут, бесплатно. Пришлите десяток вопросов, которые сотрудники задают чаще всего, — покажем, как превратить их в контрольный набор.
Ещё в блоге: Свой ИИ-советник из документов компании: из чего он собирается и что умеет
