Качество оцифровки документов: что предлагают рынок сканирования и индексирования?

Заказчик заинтересован в получении максимально качественного ресурса за фиксированный бюджет, подрядчик — в минимизации издержек на пересканирование и повторное индексирование. Поэтому специализированные компании последовательно снижают процент брака: внедряют жесткую регламентацию, нормирование операций и многоступенчатые внутренние проверки. По аналогии с любым производством выстраивается сложная система контроля качества (ОКК), гарантирующая на выходе результат с заданной точностью. Ниже подробно разберем, как измеряется качество и какой уровень точности следует считать необходимым и достаточным.

Представьте: дефекты сканирования обнаружились уже после передачи электронного ресурса и возврата оригиналов, скажем, в Новый Уренгой. Пересканирование превращается в долгий и дорогостоящий процесс: заказчик теряет сроки, исполнитель несет незапланированные логистические расходы.

Организация контроля качества: три контура проверки

Оцифровка включает два этапа — сканирование и ретроконверсию. В них применяются различные технологии и оборудование, поэтому гарантируемый уровень качества и стоимость его достижения существенно различаются.

Классическая система контроля результатов состоит из нескольких уровней (информация предоставлена Производственным управлением корпорации ЭЛАР):

Первый уровень — внутренний сплошной контроль результатов сканирования и ретроконверсии непосредственно в ходе работ. Выполняется операторами-исполнителями согласно технологии проекта. Для снижения брака применяются верификация, двойной ввод, автоматизированные проверки и другие инструменты.
Второй уровень — выборочная проверка результатов руководителем группы сканирования или ретроконверсии.
Третий, главный уровень — выходной контроль, осуществляемый Отделом контроля качества (ОКК). Без положительного вердикта ОКК информационный ресурс не передается ни внешнему, ни внутреннему заказчику. Причем проверка проводится уже в том формате, в котором массив будет сдан.

Третий этап является ключевым. В зависимости от требований проекта применяются разные схемы: от проверки произвольных выборок в процессе работ (процент от ресурса) до полного аудита всех электронных копий и данных. Чтобы не прерывать производственный цикл, проверочные массивы передаются в ОКК непосредственно в процессе сканирования или ретроконверсии.

Прогрессивная схема выборки:

Если выборка (например, 10% ресурса) не прошла проверку, она уходит на доработку, а следующий контроль охватывает уже 20%. Повторная неудача означает новую доработку и расширение выборки до 40%. Подобная строгость ОКК позволяет добиваться экстремально высоких показателей качества.

Для нестандартных задач, с которыми производство сталкивается впервые или редко, ОКК предварительно изучает тестовый массив, определяет операции с повышенным риском ошибок и формирует рекомендации по корректировке технологий обработки. Любые тестовые массивы без исключения проходят полный аудит.

Все проверки и их результаты регистрируются в автоматизированной системе, где также отслеживаются сроки выполнения работ: при необходимости соблюдения план-графика к работе ОКК привлекается дополнительный, заранее обученный производственный персонал.

Качество сканирования: почему рыночных 99% недостаточно

Большинство участников рынка сегодня заявляют о качестве в 99%, то есть гарантируют «не более» 1% ошибок. Но это много: при сканировании книги в 300 страниц такой показатель означает 1–3 дефектных образа. Пропущенная страница оборвет повествование на самом интересном месте.

На какую точность ориентироваться?

Вариантов ошибок при сканировании множество, однако выявить дефектный скан-образ довольно легко: путем просмотра файлов или программной проверки яркости, контрастности, цветопередачи и иных параметров изображения.

Последствия брака могут быть критичными:

Некачественный образ чертежа в нужный момент затянет процесс устранения поломки и приведет к остановке производства.
Образ картины с засветками и дефектами, даже созданный в высоком разрешении, не подойдет для виртуальных выставок и реставрационных работ и не может претендовать на статус страховой электронной копии.

Поэтому компании — лидеры отрасли готовы гарантировать показатели существенно выше 99%. Например, на производстве ЭЛАР действуют внутренние критерии качества сканирования, где допустимый уровень определяется как соотношение количества выявленных дефектов к общему количеству образов.

Внутренние критерии качества сканирования

Класс дефекта	Примеры	Допустимый уровень	Результат
Дефект первого класса (требующий повторного сканирования)	Отсутствие страниц; искажение текста; расфокусировка и «мусор», влияющие на читаемость; некорректный цветовой режим, не подлежащий программному исправлению	0,05%	99,95% качества. Практически исключены дефекты, устранение которых потребует расходов на выезд, транспортировку и повторное сканирование оригиналов.
Дефект второго класса (не требующий повторного сканирования)	Наличие дублей; перепутанные страницы; расфокус или некорректный цветовой режим, подлежащие исправлению	0,20%	99,8% качества. Не более двух некачественных образов на 1000. Исправление выполняется оперативно в рамках гарантийного периода без пересканирования.

Источник: ЭЛАР, 2015

Это стандартные критерии для всех проектов компании, если только сам заказчик не снизил планку качества ради удешевления сметы. На практике такое случается редко: клиент не заинтересован в затягивании сроков из-за длительного устранения ошибок. К тому же разница в стоимости между 99% и 99,95% несущественна — это подтверждается, например, анализом конкурсов на zakupki.gov.ru.

Качество должно быть во всем, вплоть до мелочей.

Показательный случай произошел в одном музее: были испорчены все образы картин, полученные за рабочий день. Причина оказалась неожиданной — яркая футболка оператора сканирования, отражая подсветку сканера, давала цветовое пятно на сканах. Некорректная цветопередача была выявлена ОКК, работу пришлось переделывать. Во избежание подобных непредвиденных расходов опытные компании используют специальную безбликовую одежду.

Качество ретроконверсии: цена одной ошибки

Ошибки ретроконверсии обнаружить гораздо сложнее, зато они не требуют пересканирования и в большинстве случаев исправляются самим заказчиком или исполнителем (если это предусмотрено договором; крупные компании хранят страховые копии ресурса как минимум в течение гарантийного периода). Автоматизировать проверку удается лишь изредка — когда заказчик может предоставить поверочную базу данных. Поэтому 100% качество индексирования, хотя и достижимо, стоит дорого и применяется редко.

Как и в сканировании, традиционный рыночный показатель — 99%. Однако за счет выстроенной системы контроля при соизмеримой стоимости работ в ЭЛАР оперируют более высокими критериями.

Критерии качества ретроконверсии

Класс ошибки	Примеры	Допустимый уровень	Результат
Ошибки первого класса — критические, приводящие к потере информации	Ошибка поля (информация введена в другое поле либо не введена); дубль записи в БД; неверная структура записи; некорректное выделение главного документа / пропущенная запись	,2%	99,8% качества. Гарантированно не более двух ошибочных полей или записей БД на 1000 единиц.

Важно!

Качество может измеряться по двум типам ошибок: по конкретным полям (например, по фамилиям персоналий при индексировании постановления о выделении земельных участков) либо по полным записям — карточкам реквизитов (в этом случае ошибочной считается вся карточка).

По нормативам производства ЭЛАР суммарный уровень критических ошибок не может превышать 0,2%: контролем качества допускается не более двух ошибочно введенных полей или не более двух неправильных записей в БД на 1000 единиц.

Для сравнения: при 99% качестве это уже 10 неверных полей или 10 дефектных карточек с реквизитами, что не позволит связать документы с учетной системой. Разница становится еще очевиднее при графическом сравнении декларируемых уровней качества ретроконверсии.

Масштаб имеет значение:

При ретроконверсии 100 тыс. записей с 99% качеством уже возникает вероятность 1000 критических ошибок. Мало того что это много, — их устранение займет продолжительное время. Качество 99,8% позволяет получить соизмеримое количество ошибок (2000) при ретроконверсии 10-кратно большего ресурса (1 млн записей). Вывод прост: чем больше документов необходимо перевести в электронный вид, тем выше должен быть декларируемый уровень качества.

Гораздо менее значимыми и слабее влияющими на поиск и работу с информацией являются ошибки ретроконверсии второго класса: неточности в символах, некорректное проставление гиперссылок в выходных БД и файлах (стандартные форматы — PDF, MTIFF) и т.д. Допустимый уровень ошибок второго класса также не может превышать 0,2%.

Наиболее распространенный пример такой ошибки, возникающей при автоматическом распознавании, — проставление знака нижнего подчеркивания вместо пробела. Проблема легко устраняется автоматизированной проверкой БД.

Оператор ввода также может ошибиться в прочтении или наборе символа, причем даже самого простого: например, набрать «Сиборов» вместо «Сидоров» или случайно использовать букву в латинской раскладке. Для защиты от подобных сбоев на производстве применяются программные средства контроля и технология двойного ввода, при которой информация заносится в БД только после одинакового ввода двумя операторами.

Добиться более высокого уровня качества можно только дорогостоящими повторными проверками. Такие проекты на рынке известны, но их стоимость выходит за рамки рыночных цен, поэтому компании осознанно не декларируют меньшее количество ошибок.

Скупой платит дважды: как выбрать исполнителя

Рынок оцифровки в России сформирован. В зависимости от бюджета заказчик свободен в выборе стратегии как по объему работ (количеству сканируемых документов и глубине извлекаемых данных), так и по качеству. Однако попытки сэкономить на точности почти всегда оборачиваются длительным исправлением ошибок, в том числе за счет самого заказчика. Как говорится, скупой платит дважды.

Поэтому выгоднее выбирать исполнителя оцифровки из числа крупных специализированных компаний. В этом случае клиент получает максимальное качество при заданной цене, а исправление ошибок в рамках гарантийных обязательств выполняется за счет исполнителя.