Начните с утверждения, которое можно проверить
В нашем демонстрационном регламенте изменение согласует владелец продукта после оценки влияния на сроки. Ответ «владелец продукта» называет роль, но теряет условие. Ответ со ссылкой на весь регламент тоже оставляет читателю работу по поиску нужного места.
Полезный результат состоит из ответа и точного фрагмента. Пользователь может открыть его и сравнить формулировки: указана ли нужная роль, сохранены ли ограничения, не добавлено ли новое обещание.
Разделите три проверки
Сначала проверьте поиск: найден ли документ, где вообще есть нужное правило? Затем проверьте ответ: следует ли каждое существенное утверждение из найденного фрагмента? Наконец, проверьте действие: понимает ли пользователь, куда обратиться дальше?
Это разные ошибки. Подходящий документ не гарантирует правильный вывод. Правильный вывод не гарантирует, что у пользователя достаточно контекста для действия. Записывайте их отдельно, чтобы понимать, что именно нужно менять.
Задайте вопрос без ответа в источниках
Хорошая проверка включает не только знакомые вопросы. Спросите о том, чего в документах нет: например, о точном бюджете изменения. Ожидаемое поведение здесь: обозначить нехватку сведений, а не дополнить регламент правдоподобной цифрой.
В примере Novera RAG используются три условных документа и локальный поиск фрагментов. Это способ проверить взаимодействие: вопрос, ответ, источник и отсутствие сведений. Это не оценка качества модели на документах вашей компании.
Что принести на обсуждение пилота
Выберите набор реальных вопросов, эталонные фрагменты и несколько вопросов без ответа. Добавьте примеры устаревших правил, противоречий и документов с разными правами доступа.
Договоритесь, кто проверяет ответы и какие ошибки недопустимы. Затем выбирайте способ поиска, модель и интеграции под эти критерии.
Попробовать поиск с источниками
Условный регламент и ответы, которые можно сверить с текстом.