문서 변환 도구에 OCR 모델과 임베딩을 얹는 구상

저녁 무렵 대화방에서 한 참가자가 파이프라인 이야기를 꺼냈다. 화제의 kordoc은 한글 문서 형식 파일을 읽어 다른 형식으로 바꿔 주는 한국어 문서 변환 도구다. 이 참가자는 다른 참가자의 문서 처리 파이프라인이 꽤 좋다고 인정하면서도, 자기 쪽 파이프라인에 kordoc을 끼워 돌리는 방안을 생각해 봤다고 했다. 다만 곧바로 단서를 붙였다. 그러면 느려진다는 것이었다.

이 참가자의 걱정은 속도와 비용이었다. 상용으로 내놓는다면 처리 시간이 곧 서버 비용이라는 주장이다. 맞은편 참가자는 자기 쪽 사용자는 빠른 것보다 정확한 것을 원한다고 답했고, 같은 참가자가 팔 생각 자체가 없다고도 했다. 같은 도구를 두고 서비스로 내놓을 때의 계산법과 내부 업무의 계산법이 갈린 셈이다.

OCR 머리만 떼어 얹겠다는 제안

대화는 한글 문서 형식을 읽는 이야기로 넘어갔다. 처음 제안했던 참가자는 한글 문서 파일 파싱에서 kordoc이 강하다는 취지로 평가했고, 상대는 어떤 사업에서 그 도구를 공식적으로 쓴다더라는 전언을 건넸다. 이 전언은 대화에서 확인된 내용이 아니다. 그러자 제안자가 이렇게 말했다.

OCR 헤드만 따다가

여기서 말하는 헤드는 글자 인식 모델에서 결과를 내놓는 끝부분을 가리키는 것으로 읽힌다. 제안자는 이어서 그 부분만 떼어 kordoc 전용 모델로 올리고, 필요하면 양자화, 즉 모델을 가볍게 줄이는 작업까지 해서 건네겠다는 것이다. 모델 배포 형식 문제로 잠시 말을 고르는 대목도 있었다. 참가자의 주장을 그대로 옮기면 kordoc에 OCR이 들어가는 순간 이 영역의 조달 고민이 정리된다는 것인데, 대화에서 검증된 내용은 아니다.

여기서 읽히는 것은 역할 분담이다. 문서 변환 도구는 지금까지 파일을 글자로 바꾸는 쪽을 맡았고, 스캔본 인식은 별도 모델에 맡기는 구조가 흔하다. 이번 제안은 그 경계를 도구 안으로 끌어들이자는 쪽에 가깝다. 제안자는 여기에 더해 kordoc을 바탕으로 한 검색 확장 기능을 넣을 수도 있다고 덧붙였다.

저장할 때 임베딩을 미리 묻힌다면

두 번째 갈래는 임베딩이었다. 임베딩은 문장을 숫자 묶음으로 바꿔 비슷한 내용을 찾기 쉽게 만드는 방식이다. 제안한 참가자는 문서를 변환해 저장하는 순간에 이 값을 같이 만들어 두면 나중에 찾기 편하겠다고 설명했다.

kordoc으로 저장할때 임베딩 살짝 묻히면

반응은 엇갈렸다. 다른 참가자는 넣더라도 선택 기능으로 두어 별도 검색 도구에서나 쓰게 될 것 같다고 했고, 또 한 참가자는 임베딩을 직접 설계해야 하는 영역이라 쉽지 않다는 취지로 말했다. 제안자는 인식을 마친 바로 그 자리에서 임베딩을 만드는 쪽이 낫다고 맞섰다. 이유는 인식하고 나서 바로 처리해 버려야 한다는 것이었다.

시점에 대한 논거는 비용 쪽에서 나왔다.

앞단에서 안하면

이 말은 같은 참가자의 다음 줄에서 돈 낭비라는 평가로 이어졌다. 변환할 때 같이 처리하지 않으면 나중에 다시 돌려야 하니 낭비라는 주장으로 읽힌다. 제안자도 하루를 통째로 잡고 몰아서 돌리는 것보다 매일 도구를 쓰면서 함께 처리하는 쪽을 택하겠다고 했다. 다만 그만한 대형 작업이 실제로 있을지는 의문이라는 말은 앞서 돈 낭비라고 한 참가자에게서 나왔다.

임베딩의 몫은 어디까지인가

마지막에 논의는 임베딩이 얼마나 무거워야 하는지로 모였다. 제안자는 단순한 인덱싱 보조 용도라면 벡터 차원이 작아도 충분하다고 했다.

128 차원도 충분해서

근거로는 함께 언급된 검색 도구가 BM25, 곧 단어 일치 기반 방식이라 임베딩이 어디까지나 보조 역할이라는 점을 들었다. 순수한 보조라면 맞다는 동의가 붙었고, 다른 참가자는 나중에 회사 전체 문서를 대상으로 하는 검색을 한다면 그래도 쓸모가 있지 않겠냐고 덧붙였다.

이 논의가 시사하는 바는 문서 변환 단계의 범위다. 변환 도구가 글자 인식과 검색 준비를 함께 맡으면 파이프라인은 짧아지지만, 도구가 무거워지고 처리 속도와 설계 부담이 그만큼 커진다. 참가자들은 정확도를 앞세우는 내부 업무와 속도를 따지는 서비스 사이에서 같은 설계를 다르게 평가했다. 모두 대화방에서 나온 구상이며, 구현이나 일정이 확정된 것은 아니다.