Открытые метрики качества

Итог замера

Счётчики, из которых посчитаны проценты: TP 1394, FP 1, FN 3. Проценты усечены вниз, поэтому читатель пересчитывает их сам: recall = TP / (TP + FN), precision = TP / (TP + FP).

По категориям

Tier — группа категорий с разными требованиями: Tier 1 — критичные персональные данные и платёжные реквизиты, Tier 2 — реквизиты, адрес и дата рождения, Tier 3 — шумные и контекстные категории, Tier 4 — анкетные поля из перечня видов персональных данных.

Пороги гейта

Эти числа — не приз, а условие сборки: прогон эвала падает, если порог нарушен, поэтому публикуемый результат нельзя тихо опустить. Пороги намеренно ниже измеренного — именно поэтому измеренное значение не подогнано под порог.

Как проверить этот замер

Команда замера

python -m eval.run_eval — тот же прогон стоит гейтом в CI

Перегенерация артефакта

python scripts/quality_report.py — собирает артефакт из этого прогона

Артефакт замера

api/quality_report.json — из него читают числа и эта страница, и главная; расхождение ловит тест

Проверка свежести артефакта

python scripts/quality_report.py --check-digests — сверит дайджесты корпуса и детектирующих источников (секунды, без прогона эвала); --check — полная сверка со свежим прогоном

Отпечаток замера (сверьте свой)

a560e37b46aecf434ccd5715e2e6e29ebd7cde9d9ab390deaf3ea4ac3db58a8f — sha256 от канонического JSON секции замера (ensure_ascii=False, sort_keys=True). Повторите прогон и сравните: у вас должен получиться этот же отпечаток; два прогона подряд дают побайтово одинаковый вывод. Команда печатает отпечаток: python scripts/quality_report.py --check-digests

Ревизия на момент замера

5e6d5289ed8710a301e3f9e00fbf6a4ae2a5b081 — ревизия, на дереве которой выполнен прогон, а не коммит, в который добавлен артефакт: замер идёт до коммита, а коммит не может содержать собственный хеш. Свежесть артефакта определяется не этой строкой, а дайджестами корпуса и детектирующих источников — python scripts/quality_report.py --check-digests

Дата замера (UTC)

2026-10-10

Тестовый корпус

версия 4.3, 1483 записи, дайджест sha256:873dbb53a885

Чего эти числа не значат

• Корпус синтетический. Записи генерируются кодом (eval/corpus/build_corpus.py, фиксированный seed), а значения собираются так, чтобы проходить собственные валидаторы детектора. Ничьи реальные данные в корпусе не используются — публиковать метрики на чужих документах мы не станем.
• В корпусе есть adversarial-блок — 52 записей с обфускацией и кодированием (гомоглифы, percent-encoding, разбивка разделителями). Он измеряется вместе с остальными: отдельной цифры «на состязательных примерах» на этой странице нет, и читать общий recall как устойчивость к обфускации нельзя.
• Реальные документы клиентов в замер не входят. Пилот на настоящих договорах, реестрах и резюме — отдельная задача (issue #735), и он не сделан. Поэтому замер описывает корпус, а не «любой документ»: на живых сканах, сложных таблицах и нетиповых форматах числа будут другими, и увидеть их можно только этим пилотом.
• OCR и сканы меряются отдельно — мини-корпус сканов и команда python -m eval.run_ocr_eval. На этой странице их чисел нет: замер воспроизводится только там, где есть движок распознавания (tesseract), а без него прогон честно сообщает, что мерить нечего, и отчёта не пишет.
• Латентность не публикуем. Воспроизводимого замера времени ответа в репозитории нет (issue #733), а число, зависящее от железа замеряющего, читатель повторить не может. Вместо такого числа — явный отказ.
• Числа — свойство корпуса и версии детектора на дату замера, а не обещание на будущее. Поэтому артефакт хранит дайджесты корпуса и детектирующих источников: правка детектора без перегенерации артефакта расходится с ними и видна сразу, а полная сверка со свежим прогоном — команда --check.

Специальные категории персональных данных. В таблице есть категории специальных данных (например, HEALTH): детектор у облачной и self-hosted версий общий, и замер честно показывает его работу. Но облачный сервис специальные категории не обрабатывает — при их обнаружении он отказывает в обработке, запрос отклоняется с сообщением об отказе, а содержимое не сохраняется и не передаётся. Для работы с такими документами предназначена self-hosted версия: /business. Формулировка отказа — в политике конфиденциальности и в оферте.

Что дальше

• Проверить свой текст или документ — детектор покажет категории найденных данных;
• Какие данные находим — полный список категорий на этом инстансе;
• API для разработчиков — если проверку нужно встроить в свой процесс.