제미나이로 만든 결과는 다른 계열에 맡기라는 조언

어제 밤 11시 45분을 넘긴 에이전트코리아 대화창에서 한 참가자가 짧은 고민을 올렸다. 제미나이 계열의 아르곤이라는 모델이 쓰임새가 애매한데 무엇에 써야 할지 모르겠다는 것이었다(아르곤이 제미나이의 모델이라는 설명은 대화 흐름에서 읽어 낸 기사 쪽 풀이다). 먼저 답한 참가자는 조언자 역할이나 다른 의미의 해석자 역할을 제안했고, 이제 꽤 쓸 만해졌다는 말도 보탰다.

질문한 참가자는 곧이어 흥미로운 이야기를 꺼냈다. 클로드에게 물었더니 같은 계열이라 다른 회사 모델을 쓰라고 하더라는 것이다. 상대 참가자는 같은 라인이 무슨 뜻인지 되물으며, 작업 레인과 검수 레인을 말하는 것이냐고 짚었다. 질문한 참가자가 제미나이 계열을 뜻한 것이라고 바로잡았다.

같은 계열은 같은 계열을 검수하지 않는다

이 참가자가 전한 조언의 핵심은 이렇다.

다른 모델이라도 제미나이로 만들었으면 제미나이 계열보다 클로드나 gpt쪽에 검수 받는게 낫다는 느낌으로 얘기하더라고요.

이 말은 질문한 참가자가 자신이 들은 조언을 옮긴 것이어서, 계열이 같으면 검수가 실제로 덜 날카로워진다는 근거가 대화에서 제시된 것은 아니다. 다만 상대 참가자는 그건 맞다고 받았다. 교차 검증이라서 그렇다는 것이다. 이어 둘 이상의 모델을 함께 쓰는 이유도 바로 교차 검증 때문이라는 말이 나왔다. 한 모델이 만들고 다른 계열의 모델이 살펴보는 구조를 당연한 기본값처럼 이야기한 셈이다. 질문한 참가자는 그렇다면 아르곤을 어디에 쓸지가 문제가 됐다고 웃으며 정리했다.

여기서 읽히는 것은 모델을 하나씩 고르는 이야기가 아니라 배치를 고민하는 이야기라는 점이다. 새 모델이 나오면 성능 순위부터 따지기 쉽지만, 이 대화에서는 이 모델이 작업을 하는 쪽인지 점검하는 쪽인지가 먼저 물렸다. 같은 회사 모델끼리는 비슷한 버릇을 공유할 수 있다는 직관이 깔려 있어 보이지만, 이는 기사 쪽의 해석이고 대화에서 검증된 사실은 아니다.

페르소나를 입혀 평가시키면

다음 질문은 한 단계 더 나아갔다. 같은 참가자가 페르소나, 곧 모델에게 특정 인물이나 역할의 관점을 입혀 결과를 평가시키는 방법을 해 보고 있는데 의미가 있는 방법이냐고 물었다. 답은 조심스러웠다. 독이 될 수도 있다는 전제 뒤에 페르소나의 근거를 어떻게 마련할 것인지가 먼저 짚였다.

그 페르소나의 근거를 제시할건지..

답한 참가자는 그 페르소나의 근거를 직접 제시할 것인지, 아니면 AI가 알아서 만들어 주는 대로 둘 것인지를 되물었다. 이어 AI에게 그냥 이렇게 시키는 경우를 예로 들었다.

그냥 페르소나 만들어서 평가해줘

그렇게 시키면 사실은 무늬만 페르소나일 수도 있다는 것이 그 참가자의 주장이다. 질문한 참가자는 요즘 비슷한 문제를 겪고 있다고 답했다. 좋을 것 같은 방법을 시키면 결과가 뭔가 애매하게 돌아온다는 이야기였고, 페르소나가 아니어도 마찬가지라고 했다. 근거 없이 입힌 역할은 평가의 기준이 아니라 말투만 바꿀 위험이 있다는 점이 기사 쪽에서 읽어 낸 대목이다.

해 보고 다듬는 수밖에

대화의 마무리는 해법이 아니라 태도였다. 확실한 방법은 없다는 말을 한 참가자는 스스로 책임 없는 말이라고 전제하며 이렇게 적었다.

해보고 결과 보고 실망하고 다듬고.. 반복 밖에 없는거 같아요

이 참가자는 이어 회차가 거듭되면 사람이 휴먼 파인튜닝 된다고 농담을 보탰고, 질문한 참가자는 어디서 문제가 일어나는지 계속 찾아다니게 된다고 털어놓았다. 여럿이 모인 방에서 교차 검증이라는 단어가 편하게 오가는 것과 달리, 어느 모델을 어디에 앉히고 어떤 평가자를 세울지는 아직 각자 시행착오로 메우는 영역으로 보인다. 이런 질문은 모델 이름이 바뀌어도 이어질 법하다는 점이 시사된다.