클로드 페이블 5.2 사용량을 두고 캐시와 한도를 묻는 두 방

한 참가자는 오늘 낮 에이전트코리아 방에 이런 글을 올렸다. 페이블 5.1을 쓰다가 5.2로 올려 보고서를 다시 검토시켰더니 수정할 곳이 여러 건 나왔다는 것이다. 같은 날 오전 공공AX 네트워크 방에서는 다른 참가자가 페이블 5.2의 사용량이 무엇에서 차감되는지 물었다. 두 방의 질문은 따로 시작됐지만, 결국 같은 곳을 향했다. 쓴 만큼 무엇이 얼마나 소진되는가였다.

에이전트코리아 — 모델을 바꾸자 캐시가 날아갔다는 설명

보고서 검토 이야기가 나오자 방의 다른 참가자가 프롬프트 캐싱을 풀어 설명했다. 코딩 에이전트는 같은 내용을 수천 번 읽어야 하는데 이를 매번 새로 읽으면 비용이 커지므로 앞선 연산을 다시 쓰는 방식으로 아낀다는 이야기였다. 그러면서 이 참가자는 모델이 바뀌는 순간을 짚었다.

그런데 새로운모델을 쓰면 그캐시가 날라가요

다른 참가자는 페이블 5.1이 펼쳐 놓은 책을 서랍에 넣었다가 5.2가 다시 꺼낸 셈이라고 비유했고, 아직 모델 사이의 캐시 공유는 안 된다며 가까운 미래에 되기를 바란다고 덧붙였다.

모델을 바꾼 당사자는 하루 만에 사용량 한도의 22%를 썼다는 점을 의아해했다가, 설명을 듣고 이유를 알았다는 취지로 말했다. 방에서는 새 모델이 수정할 곳을 더 많이 찾아낸 것이 모델 성능 차이일 수도 있다는 반론도 같은 자리에 나왔다. 캐시가 깨져 처음부터 다시 읽은 것과 모델이 더 잘 읽은 것이 뒤섞여 있어, 22% 소진의 원인을 한쪽으로 못 박기는 어렵다.

모델바꾸고 사용량이 22%가 날라감

같은 시각대에 다른 참가자는 노력 수준(effort)을 바꾸면 캐시 히트가 깨지도록 바뀐 모델이 있다며 코덱스 설정 파일에서 이를 다시 켜는 방법을 알렸다. 이는 코덱스 쪽 설정 이야기로 읽히고, 클로드 페이블에 그대로 적용된다는 말은 아니다. 같은 참가자는 클로드 코드에서 캐시를 오래 유지하는 방법으로 "/cache keep 2h 하면 두시간 유지되구요"라고 안내했다. 다만 이 명령이 실제로 두 시간 유지로 이어진다는 근거는 대화 안에서 제시되지 않았고, 참가자 한 명의 설명으로만 남아 있다. 오후에는 다른 참가자가 "그래도 클로드는 다행히 effort 바꿔도 캐쉬 대부분 유지 되나 보네요"라고 적어, 클로드 쪽은 노력 수준을 바꿔도 캐시가 대부분 유지된다는 읽기가 나왔다.

몇 시간 뒤 같은 방에서 비슷한 사례가 하나 더 나왔다. 기존에 오퍼스가 하던 작업을 초기화권을 써서 페이블에 맡겼다는 참가자였다.

기존 opus가 하던거 초기화권 써보려고 fable 한테 시켰는데 30분만에 46프로 쓴거 맞나요

결과물은 차이가 없어 보였다는 말이 따라붙었다. 앞서 22% 소진을 겪은 참가자는 기존 작업에서 모델을 바꾸면 이전 내용을 전부 다시 불러오기 때문에 토큰이 녹는다고 답했고, 질문자는 새 작업을 맡겼어야 했다며 다시 오퍼스로 돌리겠다고 했다.

공공AX 네트워크 — 어느 장부에서 깎이는지 묻는 질문

공공AX 네트워크 방의 질문은 결이 달랐다. 한 참가자는 페이블 5.2가 세션마다 다르게 답한다며, 어떤 세션은 사용량만큼 API 토큰을 차감한다고 하고 다른 세션은 주간 한도에서 차감한다고 한다고 적었다. 원문은 "어떤 세션에서는 사용량만큼 API 토큰 차감한다고 하는애가 있고"로 시작한다.

방의 다른 참가자는 구독 계정이면 주간 한도에서 빠진다고 답했다.

클로드 구독 계정이시라면 사용량 주간한도에서 차감합니다

질문자는 브이에스코드에서 클로드 코드를 쓰고 있다고 밝혔고, 사용량이 달러로 계산돼 당황했다고 했다. 답한 참가자는 오스(oauth)로 인증했다면 주간 한도일 것이고 API 키를 입력한 적도 없을 것이라고 짐작했으며, 울트라라는 말을 다른 업체의 계정으로 보고 그쪽은 써 보지 않아 모르겠다고 선을 그었다. 그런데 질문자는 한참 뒤 자신의 계정이 클로드의 상위 요금제인데 이름이 울트라로 바뀐 것이라고 바로잡았고, 키가 연결돼 있어서 자동으로 API 차감이 되는 구조인지 궁금했던 것이라고 덧붙였다. 답한 참가자의 전제와 질문자의 실제 사정이 달랐던 셈이어서, 어느 쪽으로 차감되는지는 이 대화 안에서 확정되지 않았다.

공통점과 차이

두 방의 공통점은 사용량이 소진되는 속도가 체감과 어긋났다는 것이다. 한쪽은 모델을 바꾼 뒤 하루 22%, 30분 46%라는 소진 수치를 마주했고, 다른 쪽은 사용량이 달러로 찍히는 화면을 보고 과금 방식을 의심했다. 둘 다 사용량 표시를 먼저 보고 원인을 거꾸로 따라간 셈이다.

차이는 질문의 방향이다. 에이전트코리아는 왜 이만큼 빨리 소진됐는가를 캐시와 모델 전환으로 풀이했고, 공공AX 네트워크는 무엇에서 차감되는가라는 회계 단위를 물었다. 이 글의 해석으로는 두 질문이 이어질 수 있다. 구독 한도에서 깎이는 구조라면 캐시가 깨진 재읽기도 한도 소진으로 이어질 수 있기 때문이다. 다만 이는 참가자 설명을 종합한 읽기일 뿐이고, 공공AX 질문자의 계정과 키 연결 상태까지 확인된 것은 아니어서 실제 차감 방식을 이 대화로 단정하기는 어렵다.

시사점은 작업 도중에 모델을 바꾸는 습관이 한도 소진 속도에 영향을 줄 수 있다고 참가자들이 체험으로 이야기했다는 데 있다. 새 작업으로 시작하라는 조언이 나왔지만, 이는 이날 두 참가자의 체험에 기댄 이야기이고 모든 경우에 들어맞는다고 보기는 어렵다.