Datalab, 문서 파싱용 공개 벤치마크 OmniParseBench 공개

Datalab은 OCR 및 문서 파싱을 위한 공개 벤치마크 OmniParseBench를 발표했으며, 회사 설명에 따르면 이 벤치마크는 1만 6,288개의 테스트를 중심으로 설계됐다. PyPI 프로젝트 페이지와 Datalab의 블로그 글에 따르면, 이 벤치마크는 단일 페이지를 대상으로 하나의 기준 출력과의 편집 거리(edit distance)를 재는 방식이 아니라, 이진형 검사로 평가를 수행한다. 실제 각 테스트는 특정 요소가 공급자(provider)의 출력에 존재하는지, 올바른 순서로 배치됐는지, 특정 표 셀 안에 들어 있는지, 또는 특정 종류의 레이아웃 블록 내부에 있는지를 묻는다. Datalab은 이를, 시스템이 하나의 선호되는 출력 형식을 얼마나 닮았는지가 아니라 필요한 내용을 제대로 추출했는지에 초점을 맞추는 방법으로 제시한다.

유닛 테스트처럼 구성된 벤치마크

PyPI에 설명된 프로토콜은 페이지 단위의 예·아니오 판정에 중심을 둔다. 하나의 테스트는 하나 이상의 인자를 점검할 수 있고, 각 인자는 페이지의 특정 위치에 있는 내용에 대응한다. 이 벤치마크는 결과를 텍스트, 표, 레이아웃의 세 계열로 묶는다. 대표 점수는 이 세 계열 점수의 평균값이다.

이 설계는 중요하다. Datalab의 설명에 따르면, 오래된 벤치마크들은 형식 조정이나 벤치마크 전용 후처리를 통해 최적화하기가 점점 쉬워졌기 때문이다. 회사는 블로그 글에서 널리 쓰이는 대안들이 근본적인 모델 품질보다 예상된 출력 관례를 얼마나 잘 따르는지에 더 보상할 수 있다고 주장한다. 물론 이러한 비판은 제공된 출처 안에서 독립적으로 검증된 결론이 아니라 Datalab의 주장이다. 다만 이 주장은 회사가 왜 OmniParseBench를 만들었다고 말하는지, 그리고 왜 향후 자사 릴리스 보고에도 이를 사용하겠다고 밝히는지를 이해하게 해 준다.

커버리지 측면에서 PyPI는 각 테스트가 여러 차원에 걸쳐 태깅된다고 설명한다. 여기에는 table, math, form, multi_column 같은 구조 태그, handwriting, tiny, rotated, degraded 같은 렌더링 태그, heading, caption, footnote, list, code, figure, header_footer 같은 역할 태그, ISO 15924 기반의 문자 체계(script) 태그, 그리고 ISO 639-3 기반의 언어 태그가 포함된다. 이 태그들은 테스트의 통과 여부를 결정하지는 않는다. 대신 사용자가 벤치마크를 세분화해 특정 하위 집합의 점수를 계산할 수 있게 해 준다. 하나의 테스트가 여러 태그를 동시에 가질 수 있기 때문에, 태그 단위 점수들은 서로 겹치며 대표 점수로 단순 평균되어 되돌아가지는 않는다.

채점 방식과 실행 방법

PyPI 설명에 따르면 이 벤치마크는 Hugging Face에 호스팅된 Datalab의 데이터셋으로 실행할 수도 있고, 사용자의 자체 데이터셋으로도 실행할 수 있다. 또한 더 낮은 수준의 채점 및 예측 프리미티브도 제공해 팀들이 자체 평가 파이프라인에 연결할 수 있도록 한다. 실행(run)은 중단 후 재개할 수 있으며, 각 공급자 설정은 독립적인 하나의 실행으로 취급된다. 프로젝트 설명에 따르면 각 실행은 테스트당 한 줄씩 기록한 scores.jsonl 파일을 생성하고, 요약 결과는 summary.json에서 읽을 수 있다.

채점은 모든 결과를 단순한 통과 또는 실패로만 환원하지 않는다. PyPI는 네 가지 판정을 제시한다:

• pass(통과)
• fail(실패)
• unsupported: 공급자가 요청된 출력을 생성할 수 없는 경우
• error: 공급자의 실패가 아니라 채점 과정 자체에서 문제가 발생한 경우

방법론적으로 눈에 띄는 선택은 unsupported와 error 판정을 실패로 계산하지 않고 모든 점수에서 제외한다는 점이다. PyPI는 이것이 공급자가 생성할 수 없는 출력이나 채점기 버그 때문에 업체가 불이익을 받지 않도록 하기 위한 것이라고 설명한다. 동시에 이는 시스템 간 비교가 어느 정도는 각 공급자가 어떤 출력 유형을 지원하는지에 좌우될 수 있음을 뜻한다. 특정 표현 형식을 내보낼 수 없는 시스템은 해당 테스트에서 0점을 받는 대신, 그 테스트 자체가 점수 계산에서 빠질 수 있다.

프로젝트는 또한 공급자 어댑터가 호출당 동일한 타임아웃을 사용하며, 기본적으로는 각 공급자의 가장 정확한 설정을 쓴다고 밝힌다. Datalab의 도구는 벤더 API를 호출할 수 있지만, 그러한 호출에는 비용이 들기 때문에 실행 전에 확인을 요구한다. 패키지는 Python 3.11 이상을 필요로 하며, 코드는 Apache 2.0 라이선스로 배포된다. 반면 데이터와 테스트는 출처에 따라 서로 다른 혼합 라이선스가 적용된다.

공개된 것과 공개되지 않은 것

제공된 출처를 기준으로 보면, 이번 공개 릴리스에는 코드, 문서, 그리고 PyPI에 패키징된 벤치마크가 분명히 포함된다. PyPI는 저장소에 Hugging Face의 Datalab 데이터셋이나 사용자의 자체 데이터로 벤치마크를 실행하는 방법이 들어 있다고도 설명한다. 같은 페이지는 API, 벤치마크 설계, 테스트 구성, 공급자, 태깅을 다루는 문서로도 사용자를 안내한다. 또한 사용자가 잘못된 테스트를 발견하면 이슈를 열 수 있다고 명시하고 있어, 이 벤치마크가 점검 가능하고 수정 가능한 형태를 지향함을 시사한다.

다만 공개된 출처만으로는 1만 6,288개 테스트가 계열별, 언어별, 문자 체계별, 문서 유형별로 어떻게 나뉘는지에 대한 완전한 세부 내역은 확인할 수 없다. 또한 OmniParseBench 자체의 종합 리더보드 결과도 포함되어 있지 않다. 따라서 1만 6,288개라는 수치는 여기서 벤치마크의 기본 프레이밍 일부로서만 전해지며, 제공된 텍스트는 그 총계 뒤에 있는 정확한 분할을 설명하지 않는다. 마찬가지로, 어떤 공급자가 텍스트, 표, 레이아웃에서 앞서는지를 보여 주는 벤치마크 전체 수준의 성능 수치도 출처 자료에는 없다.

다른 벤치마크를 둘러싼 주장

제공된 자료에서 Datalab은 OmniParseBench의 리더보드 결과를 공개하기보다, 기존 벤치마크가 왜 불충분하다고 보는지에 초점을 맞춘다. 회사는 olmOCR이 포화 상태라고 말하며, 후처리만으로도 보고 점수가 약 1~2점가량 바뀔 수 있는 사례를 언급한다. 또한 ParseBench는 특히 차트와 시각적 그라운딩 영역에서 프롬프트 문구, 형식 관례, 특화된 파이프라인의 영향을 크게 받을 수 있다고 주장한다. 이는 Datalab이 제기하는 상당한 수준의 문제 제기이지만, 어디까지나 회사의 설명으로 읽어야 한다. 제공된 출처에는 독립적인 검증이 포함되어 있지 않다.

그럼에도 이러한 주장은 OmniParseBench가 무엇을 최적화하려는지 비춰 준다. 이 벤치마크의 예·아니오 검사는 기준 출력 매칭 방식보다 조작하기 어렵도록 명시적으로 제시된다. Datalab은 이런 구조가 더 분명한 오류 신호를 만든다고 주장한다. 실패한 테스트 하나가 특정 페이지에서 발생한 특정 실수에 대응하기 때문이다. 이는 모델 개발자나 기업 구매자가 단일 혼합 점수만 보는 대신, 예를 들어 회전된 텍스트, 서식 문서, 필기체, 표 구조 같은 요소에서 시스템이 어려움을 겪는지를 더 쉽게 파악하게 해 줄 수 있다.

공개 자료만으로도 드러나는 한계

OmniParseBench의 설계 자체도 몇 가지 한계를 만든다. 첫째, 제공된 출처에는 벤치마크 전체 차원의 완전한 결과가 제시되지 않아, 외부 독자는 이 벤치마크가 기존 대안과 실질적으로 다른 순위를 만들어 내는지 아직 평가할 수 없다. 둘째, unsupported 출력이 점수 계산에서 제외되기 때문에, 이 벤치마크는 공급자가 지원하는 출력 범위 안에서의 품질에는 보상하되 출력 유형의 폭넓음에는 상대적으로 덜 민감할 수 있다. 셋째, 태그별 세부 점수는 설계상 서로 겹치므로 진단에는 유용하지만, 요약 해석은 직관적이지 않을 수 있다.

실무적 제약도 있다. 벤더를 실행하려면 API 키와 유료 호출이 필요하다. 벤치마크는 실행을 재개할 수 있고 여러 실행 간 비교도 가능하지만, 각 설정이 독립적인 실행으로 취급되므로 재현성은 공급자 설정에 따라 여전히 달라질 수 있다. 마지막으로 데이터셋은 출처별 혼합 라이선스를 물려받으며, Datalab은 상위 데이터셋도 함께 인용해야 한다고 밝힌다. 이것이 벤치마크의 가치를 떨어뜨리는 것은 아니지만, 실제 운영 환경의 평가 워크플로에 도입하려면 법무 및 운영 측면의 검토가 필요할 수 있음을 의미한다.

영어권 기업 독자 관점에서 보면, OmniParseBench가 가져오는 구체적 변화는 문서 AI 시스템을 페이지별로 더 점검 가능하게 시험할 수 있는 방법을 제공한다는 점이다. 즉 하나의 불투명한 점수 대신 표, 레이아웃, 문자 체계, 까다로운 렌더링 조건별 세부 단면을 볼 수 있다. 실제로 이는 팀들이 자신들이 진짜로 중요하게 여기는 문서 특성을 기준으로 벤더나 내부 모델을 비교하는 데 도움을 줄 수 있다. 다만 어떤 출력이 unsupported로 표시되는지 확인하고, 벤치마크의 라이선스 조건을 검토하며, 하나의 대표 점수만을 문서 이해 품질의 완전한 척도로 받아들이지 않는 신중함은 필요하다.