ProVerifToolsЗафиксируйте сценарий
Определите GEO, тип документа, обязательные поля, формат дат и ожидаемую кодировку текста.
OCR QA / regression testing
Контролируемые тестовые документы для OCR.
ProVerifTools помогает подготовить повторяемые сценарии для распознавания текста и полей. Команда заранее знает ожидаемые значения и может измерять результат после каждого изменения OCR-модели или пайплайна.
Базовый процесс OCR-тестирования
Хороший OCR-тест фиксирует входные данные, ожидаемый результат и условия рендера. Это позволяет отличить улучшение модели от случайного изменения изображения.
Подготовьте входной набор
Используйте только тестовые значения. Сохраняйте идентификатор сценария и связь между исходными полями и полученным артефактом.
Запустите OCR одинаково
Версия модели, предобработка, разрешение и правила нормализации должны быть зафиксированы для сравнения.
Сравните поля и ошибки
Оценивайте не только общий процент символов, но и критические поля: имя, номер, даты, адрес и машиночитаемую зону, если она входит в сценарий.
Что измерять
Точность текста
Character Error Rate и Word Error Rate полезны для общего сравнения, но их нужно дополнять проверкой отдельных полей.
Полнота полей
Отдельно фиксируйте пропуски, перепутанные поля, неверные границы и ошибки нормализации дат или адресов.
Стабильность
Одинаковый сценарий должен давать сопоставимый результат при повторном запуске и после обновления окружения.
Тесты, которые стоит разделять
Не смешивайте в одной метрике качество рендера, детекцию типа документа, OCR и бизнес-валидацию. Если распознавание текста прошло успешно, но пайплайн неверно назначил поле, это другая категория дефекта. Разделение этапов ускоряет диагностику.
Позитивный набор
Проверяет нормальные значения и основные форматы. Его удобно использовать как быстрый smoke-тест перед выпуском версии.
Граничные значения
Длинные имена, составные адреса, разные алфавиты, короткие и длинные номера, нестандартные разделители дат. Такой набор показывает, где правила слишком жесткие.
Визуальные вариации
Scan-режим, фон и контролируемые изменения качества следует учитывать отдельно, чтобы не потерять связь между причиной и результатом.
Все подготовленные материалы остаются тестовыми и сохраняют предусмотренную маркировку. Не используйте реальные персональные документы для создания такого набора.