엑사원 첫 체험에서 나온 응답 지연과 반복 전제

엑사원(EXAONE)을 공짜로 써 봤다는 말이 나온 어제 저녁(11월 10일), 서로 다른 두 방에서 한 시간 안팎 간격으로 비슷한 체감이 나왔다. 써 보니 느리다는 것이었다. 한쪽 방에서는 초당 처리량 숫자가 오갔고, 다른 쪽 방에서는 첫 인사에 답이 돌아오기까지 걸린 시간이 화제가 됐다. 같은 지표를 말한 것은 아니어서 우연일 수 있지만, 체감이 겹친 점은 눈여겨볼 만하다.

에이전트코리아 방: 처리량과 호출 한도 이야기

이 방의 엑사원 이야기는 오후 7시 15분을 넘겨 갑자기 시작됐다. 한 참가자가 엑사원을 공짜로 써 봤느냐고 묻자 다른 참가자가 호출 100회가 엑사원이 맞느냐고 되물었고, 곧 처리량 이야기로 넘어갔다. 한 참가자는 초당 처리량이 20에서 30 정도까지 떨어진다고 전했다. 다른 참가자도 18에서 20이라고 했고, 처음 질문을 던진 참가자는 18 정도가 나오더라는 취지로 맞장구를 쳤다.

숫자만큼 눈에 띈 것은 쓰임새에 대한 망설임이다. 같은 참가자는 모델 버전이 2.5라는 점을 짚으며 이렇게 말했고, 잠시 뒤 호출 한도를 이어서 말했다.

이걸 쓰기가 되게 애매함

인데 100콜 제한 무료

공짜라서 일단 설치해 봤다는 말도 나왔고, 한도가 100콜이라는 설명에는 그럼 그렇지 하는 반응이 돌아왔다. 다만 한도가 100회라는 점은 말한 참가자 스스로 그런 것으로 알고 있는데 다시 봐야겠다고 덧붙인 대목이어서, 이 글에서는 확정된 사실이 아니라 방 안의 전언으로만 다룬다. 이 방에서 엑사원은 성능 평가보다 어디에 붙여 쓸 수 있느냐는 실용 판단의 대상이었다. 저녁 일찍 한 참가자가 128GB 장비에 QWEN 3.8 Flash Next를 올려 50에서 60tok/s를 얻었다는 로컬 장비 후기를 풀어 놓았던 흐름과 이어 보면, 이 방은 속도와 장비를 숫자로 따지는 쪽으로 엑사원을 받아들였다고 풀이된다.

공공AX 방: 첫 응답 지연과 조건부 평가

공공AX 방에서는 오후 6시 23분쯤 한 참가자가 이번에 새로 나온 엑사원이 어떤지 물으며 이야기가 열렸다. 이 방 발화에서는 2.5라는 버전이 따로 언급되지 않았다. 몇 분 뒤 한 참가자가 첫 경험을 전했다.

엑사원 ㅎㅇ 쳤더니 20초 뒤에 대답오던데요

묻던 참가자는 사용자가 많았나 보다고 짐작했다. 이 짐작은 원문에서 근거가 확인되지 않은 추측이므로 지연의 원인으로 읽을 수는 없다. 이어 API를 받아 테스트 중이라는 한 참가자가 품질은 클로드 5.5 정도와 비슷하고 속도는 느리지만 토큰 절약이 있다고 했다. 그 말에는 조건이 붙어 있었다. 한 번 응답은 틀릴 수 있어도 반복하는 에이전트로 돌리면 문제 해결 수준이 클로드 5.5라는 취지였다. 즉 단발 응답의 품질이 아니라 반복 실행을 전제로 한 문제 해결력에 대한 개인 분석이라는 이야기다.

이 평가를 두고 다른 참가자는 이렇게 말했다.

사용자가 루프를 걸어줘야 한다는 점에서 클로드랑은 좀 거리가 있어보이는데요..

반복 실행 전제를 평가한 참가자도 그것을 멀티턴 작업 같은 것이라고 설명했고, 개인적 분석이니 너무 노여워하지 말라고 덧붙였다. 그러니 두 사람이 서로 다른 사실을 주장했다기보다 같은 전제를 놓고 얼마나 크게 볼지를 달리 말한 셈에 가깝다. 한 참가자는 비교 대상인 클로드 5.5가 오퍼스급을 뜻하는 것이라면 그만큼 큰 화제가 됐을 것이라며 웃음 섞인 반문을 달았다. 이는 평가가 과하다는 뜻을 돌려 말한 것으로 풀이된다. 별개로 앞서 올라온 한글 활동지 결과물을 본 다른 참가자는 서식이 너무 간단하다며 더 복잡한 서식으로 시험한 결과를 보고 싶다고 했는데, 이는 클로드 비교와는 따로 나온 반응이었다.

두 방이 겹친 곳과 갈린 곳

두 방이 겹친 지점은 느림이다. 한쪽은 초당 처리량으로, 다른 쪽은 첫 응답까지의 대기 시간으로 같은 체감을 말했다. 다만 이 대화에서는 질문이 서로 달랐다. 에이전트코리아 방에서는 호출 한도와 어디에 붙일지가 물음으로 나왔고, 공공AX 방에서는 다른 모델과의 비교가 질문으로 나온 뒤 클로드와의 비교는 한 참가자의 발언으로 나왔다. 같은 모델이 대화마다 다른 잣대로 평가대에 오른 셈이다. 두 방 전체의 성격으로 일반화하기에는 근거가 몇 줄뿐이다.

갈린 지점은 평가의 잣대다. 한쪽에서는 쓰기 애매하다는 말이 나왔고, 다른 쪽에서는 반복해서 돌리면 클로드 5.5 수준이라는 개인 분석과 그에 대한 이견이 함께 나왔다. 이는 새 모델의 첫인상이 단발 응답 속도에서 먼저 갈리고, 그 뒤에야 반복 실행을 전제한 품질 이야기로 넘어간다는 흐름을 시사한다. 무료 개방 직후에 쏠린 호출로 지연이 커졌는지는 두 방의 대화만으로는 알 수 없고, 가격이나 한도, 출시 일정 같은 바깥 사실은 참가자들의 말로만 전해진 것이다.

두 방의 반응을 합치면 이번 체험담이 던지는 질문은 단순하다. 느리지만 반복 실행으로 보완되는 모델을 업무에 얼마나 받아들일 수 있느냐, 그리고 무료 호출 한도 안에서 어디에 붙일 수 있느냐는 것이다. 어느 쪽 대답도 아직 한두 사람의 짧은 시험에 기댄 것이어서, 며칠 더 쓴 뒤의 평가가 첫인상과 같을지는 지켜봐야 한다.