제브(Jev) 입력 토큰 이중 소비 논쟁과 컨텍스트 절약

어젯밤 늦게 에이전트코리아 대화창에서 한 참가자가 제브(Jev)를 두고 이렇게 말문을 열었다. 제브는 많이 써도 줄지 않는다는 이야기였다. 그 참가자는 큰 분량의 토큰을 썼는데 충전해 둔 금액은 일부만 나갔다고 했고, 쓰임새는 온톨로지 쿼리 정확도를 올리는 일이라고 했다. 이 글에서 제브가 정확히 어떤 도구인지는 따로 설명되지 않았고, 대화 안에서 온톨로지 질의의 정확도를 높이는 데 붙이는 장치로 이야기됐다는 점만 확인된다.

이 참가자는 정확도 이야기도 꺼냈다. 직접 만든 팩은 높은 정확도가 나오지만 다른 사용자들은 편차가 있다는 주장이었다. 곁에 있던 다른 참가자는 오픈 데이터셋 세 개의 평균이 90%이고 거기서 올리기는 쉽지 않다고 했다. 이 참가자는 제브 같은 도구를 넣고 싶지만 돈이 없다고도 말했다. 두 사람의 수치는 서로 다른 데이터와 방식으로 잰 것으로 보이며, 대화에서는 비교 조건이 맞춰지지 않았다. 앞의 참가자는 후보를 키워드 검색 단계에서 먼저 추리고 그 뒤에 제브와 벡터 그래프 쿼리가 들어가는 식으로 방어망을 여러 겹 둔다고 설명했다.

논쟁은 다른 참가자가 던진 한마디로 번졌다.

jev쓰면 근데 입력 토큰 두번 먹이는거 아닌가요? 전 그래서 별로라고 생각함

질문한 참가자는 제브가 pcl쪽에 적합하고 툴콜링도 별로 같다는 의견도 덧붙였다. pcl이 무엇을 가리키는지는 대화에서 풀리지 않았고, 이 글도 뜻을 짐작해 적지 않는다. 반응은 반박보다 쓰는 자리를 바로잡는 쪽이었다. 한 참가자는 그 문제를 잘 푸는 파이프라인을 짜는 일이 중요하고 판단부에 스윗스팟이 있다고 했다. 다른 참가자는 제브가 값이 싸다는 점과, 대형 언어모델을 타기 전에 쓰는 뽑기용 도구라는 점을 들었다.

처음 주장을 편 참가자의 답은 짧았다.

제브는 그래서 막타 에요

"처음부터 먹이는 용도가 아니에요"라는 설명이 따라붙었다. 그런데 앞서 대형 언어모델을 타기 전에 쓴다고 말한 참가자가 "첫타아니구요?"라고 되물었고, 이에 막타로 가야 한다는 답이 돌아왔다. 막타와 첫타는 대화에서 풀이되지 않은 말이다. 기사 쪽 설명을 붙이면, 처음부터 먹이는 용도가 아니라 뒷단에 쓴다는 뜻으로 읽히는 은어다. 입력을 두 번 먹인다는 비판이 맞는지도 이 대화만으로는 가려지지 않았다.

그러자 이야기는 컨텍스트 윈도우 일반론으로 옮겨 갔다. 한 참가자가 앞서 같은 취지로 말한 적이 있다며 원칙을 다시 꺼냈다.

컨텍스트 윈도우안에 가득채우는게 무조건좋지않다

이어 필요한 정보만 넣어야 하고, 스킬도 컨텍스트 윈도우에 들어간다고 짚었다. 이야기를 듣던 참가자 한 명은 스킬마다 그렇게 쓰는 줄은 몰랐다며 놀라워했고, 기억이 1도 안 난다고 했다. 그 참가자는 스킬이 그런 식으로 작동한다고까지는 말하지 않았다는 취지로도 답했다.

기사 쪽 풀이를 붙이면 이 대화는 두 가지 층으로 읽힌다. 하나는 제브를 얹으면 비용이 얼마나 드는가라는 계산의 층이다. 충전분 대비 사용액이 작았다는 경험담과 입력이 두 배로 든다는 우려가 맞섰지만 같은 기준으로 측정되지는 않았다. 다른 하나는 어느 단계에 무엇을 넣을지라는 설계의 층이다. 막타냐 첫타냐의 엇갈림과 필요한 정보만 넣으라는 원칙은 도구 자체보다 파이프라인에서 놓이는 자리가 토큰 부담을 가른다는 쪽으로 모인다. 컨텍스트를 채울수록 좋다는 직관이 틀릴 수 있다는 말이 스킬 이야기까지 닿은 것도 같은 맥락에서 보인다.

다만 이는 방 안 일부 참가자의 주장과 체감에 기댄 것이고, 제브의 실제 토큰 소모 구조나 정확도는 이 대화에서 검증되지 않았다. 토큰 절약 방식을 고민하는 참가자라면 어디에 무엇을 먼저 넣을지부터 따져 보라는 신호로 받아들일 만하다는 것이 이날 논의의 시사점으로 남는다.