오픈소스 OCR의 벤치 추격과 표 채점 방식 차이

어제 저녁 에이전트코리아 대화창에 OCR 의뢰가 하나 들어왔다는 소식이 올라왔다. 규모가 꽤 크다는 말에 다른 참가자들이 단가를 어림해 보며 반응했고, 의뢰 당사자는 그 계산이 공급가 기준이라고 선을 그으며 단순 인식 외의 처리도 붙는 일이라고 설명했다. 어느 쪽 계산이 맞는지는 대화에서 따로 확인되지 않았다. 이야기는 곧 공개 한국어 OCR 벤치마크로 옮겨 갔다.

오픈소스가 따라붙은 점수

한 참가자가 벤치마크 관련 글 링크를 올리자 반응이 이어졌다. 링크 안의 점수표 내용은 대화에 옮겨지지 않았다. 다른 참가자가 «오픈소스가 남의 사업 팬다»며 감탄했고, 벤치마크를 아는 한 참가자는 점수를 낸 모델을 ppOCRv6(오픈소스 OCR 모델)로 읽으며 공개 한국어 OCR 벤치마크를 직접 돌려 보라고 권했다. 벤치마크가 정말 공개돼 있느냐는 되물음에는 공개돼 있다고 답했다. 이 참가자는 점수의 의미를 이렇게 평했다.

오픈소스로 저 성능 나오는것부터가

곁에서 또 다른 참가자는 따라잡는 데 열흘쯤 걸린 것 같다고 거들었다. 벤치마크를 아는 참가자는 한동안 순위가 따라잡힐 일은 없겠다고 보고 있었는데 이렇게 추격해 오니 다음 배포판 점수도 넣어 볼까 한다고 했다. 공개된 한국어 벤치 가운데 이 벤치가 가장 타당하다고 자신한다는 말도 나왔고, 비공개 벤치는 공개판보다 한 걸음 앞서 준비해야 한다는 농담도 따랐다. 이 대목의 평가는 모두 참가자 본인의 의견이다.

상용 서비스와의 비교

점수표에서 눈에 띈 것은 클로바(국내 상용 OCR 서비스)의 위치였다. 한 참가자가 공유된 표를 보고 클로바가 낮아 보인다며 놀랐고, 다른 한 사람이 망한 것 아니냐고 받았다. 그렇게 읽혔다는 말일 뿐, 이 순위는 공식 순위표로 확인된 것이 아니며 대화에서 표를 다시 측정하지도 않았다.

클로바가 저성능인게 충격

이어 업스테이지도 돌려 볼까 싶지만 비용을 들여 돌리기는 싫다는 말이 나오자, 또 다른 참가자가 어디까지나 체감이라고 전제하면서 업스테이지가 클로바보다는 조금 더 나을 것 같다고 했다. 이 평가에는 실측 수치가 붙지 않았고, 대화에서도 검증으로 이어지지 않았다.

같은 모델, 다른 점수

밤이 깊어서 이야기는 다시 점수로 돌아왔다. 한 참가자가 오픈소스 모델이 상용 서비스보다 좋게 나왔다고 알렸고, 이 모델은 손글씨 인식이 부러워서 그 부분을 가져다 쓸 예정이라고 했다. 하나의 모델 안에 여덟 가지 작업이 들어가 있어서 필요한 부분만 덜어 내는 작업도 하겠다는 말이 이어졌다.

그런데 다른 참가자가 자기 쪽 벤치와 숫자가 조금 다르다고 짚었다. 이에 표 점수에 감점 규칙이 있었나 싶어 채점 방식을 확인해 보겠다는 답이 돌아왔고, 곧 원인으로 표 채점 방식의 차이가 거론됐다. 흔히 쓰이는 TEDS 방식이 아니라 결과를 렌더해서 원본과 똑같은지 보는 방식이라는 설명이었다. TEDS가 무엇인지는 대화에서 풀이되지 않았고, 여기서는 표를 채점하는 방식의 이름으로 쓰였다.

채점기 안맞으면 크게 차이나여

병합된 칸이 있는 표 때문에 다른 벤치의 방식을 참고해 만들었다는 설명도 붙었다. 상대 참가자가 참고할 자료를 알려 달라고 하자, 자료를 알려 주기보다 채점 코드를 직접 올리겠다는 답이 나왔다. 마지막으로 표가 마크다운 형식으로 나오면 채점이 되지 않는다는 점이 거론됐다. 점수 차이가 그 때문인 듯하다는 것이 이 참가자의 추정이며, 렌더 비교 방식이라는 채점기 설명도 대화 속 말일 뿐 공개 규격으로 확인되지는 않았다.

읽을 거리

이 대화에서 읽히는 것은 두 가지다. 하나는 오픈소스 OCR 모델이 공개 벤치에서 상용 서비스를 앞섰다고 읽힌 점수가 참가자들에게 놀라움으로 받아들여졌다는 점이다. 다른 하나는 같은 모델이라도 표를 어떻게 채점하느냐에 따라 점수가 크게 달라질 수 있어서, 벤치 숫자를 옮겨 쓰기 전에 채점 방식과 출력 형식을 맞춰야 한다는 점이다.

큰 의뢰가 오갈 만큼 문서 인식은 실제 일감으로 이어지는 영역이다. 모델 선택의 기준이 되는 점수가 채점 방식에 흔들린다면, 일을 맡는 쪽은 벤치 순위만이 아니라 자기 문서 유형으로 직접 돌려 본 결과를 함께 보는 편이 안전하다는 정도가 이 밤의 대화에서 읽힌다.