Опишите действие пользователя
Кто получает результат и что делает дальше? Для поиска по документам это может быть сотрудник, который открывает источник и принимает решение. Для контроля изображения: оператор, который проверяет отмеченную область.
Запишите входные данные и ожидаемый ответ на одном примере. Если участники понимают его по-разному, сначала нужно договориться о задаче.
Соберите примеры, на которых легко ошибиться
Добавьте к обычным примерам неполные документы, похожие формулировки или кадры с бликами. Для каждого укажите, какой ответ ожидается и когда система должна отказаться от ответа.
Отделите набор для настройки от набора для проверки. Изменение модели после просмотра тестовых примеров влияет на независимость следующего измерения; это нужно учитывать в протоколе.
Разведите разные виды ошибок
В компьютерном зрении распознать товар и посчитать его количество: разные задачи. В поиске по документам найти нужный текст и дать верный ответ по этому тексту: тоже разные проверки.
Одна общая оценка может скрыть проблему в отдельной операции. Определите критерий для каждого действия, которое важно пользователю.
Проверьте путь целиком
Даже хорошая модель не поможет, если кадр не дошёл с камеры или у сотрудника нет доступа к документу. Включите в проверку источник данных, API и экран, на котором появляется ответ.
Запишите, что происходит при тайм-ауте, пустом результате или недоступном источнике. Пользователю нужен понятный следующий шаг в каждом из этих случаев.
Подготовьте пакет для первого разговора
Пригодятся описание операции, несколько обезличенных примеров и ожидаемые ответы. Добавьте требования к размещению данных и человека, который сможет проверить результат.
После этого можно обсуждать границы пилота и оценку работ. Критерий перехода к следующему этапу стоит зафиксировать до разработки.