큰 모델 라벨로 작은 모델을 키우는 증류 비용 절감

오늘 오전 에이전트코리아 대화창에서 한 참가자가 큰 모델 두 개의 라벨링이 서로 어긋나는 일을 겪고 있다고 털어놓았다. 같은 데이터에 두 모델이 붙이는 라벨이 다 같지 않다는 이야기였다. 이 참가자는 그 문제를 파인튜닝, 곧 이미 만들어진 모델을 자기 작업에 맞게 추가로 훈련하는 방식으로 다루고 있다고 했다. 결과가 얼마나 나올지는 지켜봐야 한다는 말이 붙었다.

큰 모델의 라벨을 작은 모델의 교재로

잠시 뒤 같은 참가자는 돈이 충분하면 큰 모델을 증류해야 한다고 운을 뗐다. 증류는 큰 모델의 판단을 작은 모델이 따라 하도록 가르치는 기법이다(이 풀이는 기사 설명이다). 참가자의 주장에 따르면 중간 크기 모델을 건드리면 특정 작업에서 큰 모델에 가깝게는 빠르게 나온다고 했다.

대화에서 오간 순서는 일반적인 증류 흐름과 크게 다르지 않았다. 큰 모델로 데이터를 만들어 라벨을 붙이고, 그 라벨로 중간 크기 모델을 먼저 훈련해 외부 API에 내는 비용을 낮춘 다음, 더 작은 모델로 옮기는 식이다. 같은 시각 다른 참가자는 이런 규모의 모델을 돌리려면 컴퓨팅 파워가 얼마나 드느냐고 물었고, 이 질문에 대한 수치 답은 대화에서 나오지 않았다. 참가자는 자기 작업이 필요한 부분만 맞춘 특화 튜닝이라 일반적인 방법으로 내놓을 성격은 아니라는 선도 그었다. 그래서 이 기사는 구체적인 절차나 수치가 아니라 큰 흐름만 옮긴다.

큰 모델을 계속 호출하는 비용을 줄이려면 그 모델이 만든 라벨이 작은 모델의 교재가 되어야 한다는 구조로 읽힌다(기사 해석). 이어서 다른 참가자가 판단 쪽 작업을 큰 모델과 돌려 보려 한다며 속도가 확 빠르다는 반응을 남겼지만, 그 반응이 어느 방식에 대한 것인지는 대화에서 분명하지 않다.

오후, 정체된 OCR 파인튜닝에 대한 답

오후에 들어서자 같은 화제가 실제 사례로 돌아왔다. 한 참가자가 문서 이미지를 읽는 OCR 모델을 계속 재학습하는데 어느 시점 이후로는 개선이 안 된다고 하소연했다. 증류 이야기를 했던 참가자가 가장 먼저 짚은 것은 학습 데이터의 편중이었다. 한 종류의 글꼴로만 학습하면 그 글꼴은 잘 읽어도 범용 글꼴에 대한 능력이 떨어질 수 있다는 지적이었다. 이 질문에 앞서 나온 답변이 소형 모델의 성질을 요약했다.

모델 크기가 작아서 좋지만, 대신 한 능력이 오르면 다른 능력이 빠르게 사라진다고 보시면 쉽습니다

조금 뒤 같은 답변자는 점검 순서를 한 줄로 정리했다.

성능이 안오른다 → 파라미터 포화 혹은 LR / 스케쥴러 의심

풀어 말하면, 성능이 오르지 않으면 파라미터가 포화됐거나 학습률과 스케줄러 설정을 의심하고, 다른 인식 능력이 떨어졌다면 치명적 망각이 일어난 것이므로 다른 데이터를 골고루 섞어 넣어 막아야 한다는 내용이다. 치명적 망각은 새로 배우는 과정에서 앞서 익힌 능력을 잃는 현상을 가리킨다(기사 설명). 질문한 쪽은 답변자가 권한 다른 계열 모델로 재학습을 다시 시작하는 편이 나을지 되물었고, 그 뒤 답이 대화에서 이어지지는 않았다.

비용을 줄이려는 흐름이 읽힌다

오전의 증류 이야기와 오후의 망각 이야기는 다른 시각에 나왔고 오후 쪽은 다른 참가자의 질문에 오전의 그 참가자가 답하는 자리였지만 한 방향으로 이어진다. 큰 모델의 API 비용과 응답 속도가 부담이라 작은 모델로 옮기고 싶은데, 작은 모델은 한 가지를 가르치면 다른 능력이 흔들릴 수 있다는 부담이다. 이 대화 안에서 증류 결과 수치나 정확도 비교는 제시되지 않았다.

따라서 이날 대화가 보여 주는 것은 성과가 아니라 작업 순서에 가깝다. 큰 모델 라벨로 중간 크기 모델을 훈련하고, 작은 모델로 옮기며, 정체나 망각이 오면 데이터 구성부터 점검한다는 흐름이다. 비슷한 길을 가려는 사람에게는 정해진 절차라기보다 비용과 성능 사이에서 한 사람이 택한 방향 하나로 읽는 것이 알맞다.