클로드와 코덱스를 작업에 따라 섞어 쓰는 방식

어제 저녁 더배러 대화창에서 한 참가자가 자신의 구독 리셋일이 수요일이었다며, 클로드와는 다른 요일인데 클로드만 쓰느라 신경을 못 썼다고 털어놓았다. 그러자 다른 참가자가 얼마 뒤 처방을 내놓았다.

클로드 적절하게 codex랑 섞어서 일해! 너의 토큰이 아까웟

이 참가자는 이렇게 하면 코덱스를 알아서 잘 쓰게 되지 않느냐고 덧붙이며, 자신은 다른 모델을 비슷한 방식으로 쓴다고 했다. 한쪽 모델을 아끼려고 다른 쪽에 일을 나눠 주자는 제안이다.

권유를 받은 이 참가자의 답은 정해진 방식이 없다는 쪽이었다. 핸드오프(기사 풀이: 작업을 다른 모델로 넘기는 일로 보인다)를 선호하긴 했지만 작업마다 다르게 하고 있더라는 것이다. 기준은 스스로도 감으로 말하는 수준이었다.

ai 컨디션에 따라서, 다르게 바꾸는 듯 하네유

이 참가자는 성능이 올라갔다는 체감이 들면 코덱스 위주로 작업하고, 남은 토큰에 따라 메인 모델을 다르게 잡는다고 설명했다. 지금은 아스트라라는 모델을 최고 강도(max)로만 강제로 쓰고 있다는 말과, 검증과 대화용으로만 쓴다는 말도 이어졌다(뒤 문장의 주어는 원문에 분명하지 않다). 이 참가자가 말한 모델 선택의 근거는 벤치마크 수치가 아니라 그날 느끼는 상태와 잔여량이라는 점이 눈에 띈다.

뒤늦게 대화에 합류한 참가자는 오푸스로 감독하고 구현은 sol에 맡긴다고 했다. 이에 구현 쪽 선택지를 다르게 가져가는 참가자가 맞받았다.

전 구현 luna max로 대부분 하는데

그러자 sol을 medium이나 high 정도로만 써 왔다던 참가자가 luna max는 생각해 보지 못했다며, 추론 강도를 올려 볼 생각을 못 했다고 말했다. 여기서 sol과 luna는 참가자들이 부른 모델 이름이고, max나 medium, high는 추론 강도(effort) 설정을 가리키는 말로 읽힌다. 구현에 쓰는 모델 이름과 강도 설정이 서로 다른 조합으로 쓰이고 있었고, 한 사람이 쓰던 조합이 다른 사람에게는 새로운 선택지로 받아들여졌다. 다만 이 모델들의 관계나 성능 차이는 대화에서 설명되지 않았으며, 위 내용은 참가자들이 말한 사용 경험일 뿐이다.

앞서 컨디션 이야기를 하던 참가자는 sol을 쓰지 않는 이유도 밝혔다. 코딩 세션에 바로 요청을 넣지 않고 먼저 이해도 점검을 거친다는 것이다.

저는 코딩세션에 바로 코딩요청을 하지 않고, 왜 코딩을 해야 하는지, 너가 정확히 이해하고 만드는 것인지에 대해 체크리스트를 받는데

이 점검에서 sol을 최고 강도로 돌렸더니 이해력이 떨어져 보였고, 한 번 이상한 결과물을 받은 뒤 선입견이 생겼다고 했다. 다만 그것만이 이유는 아니고, 오푸스 5.5의 성능이 마음에 들고 토큰을 적게 먹어서 계속 오푸스 위주로 돌린다고 덧붙였다. 한편 sol로 구현한다던 참가자는 오푸스도 시키지 않은 일을 하더라는 경험을 말했고, luna로 구현을 하는 참가자는 luna로 코딩에서 막혀 본 적은 없는 것 같다고 했다. 오푸스에 대한 평가는 두 참가자 사이에서 갈렸고, sol은 구현 모델로 삼는 참가자와 최고 강도에서 이해력이 떨어져 보였다는 참가자가 따로 있다. 이 말들은 모델마다 각각 다른 참가자의 체감이어서 하나로 묶어 읽을 수 없다.

이 대화에서 읽히는 것은 정답 조합보다 선택이 이뤄지는 방식이다. 역할 분담(감독은 한쪽, 구현은 다른 쪽), 추론 강도 조정, 토큰 잔여량이라는 세 가지 변수가 사람마다 다르게 섞이고, 한 참가자의 경우에는 한 번의 나쁜 경험이 이후 선택을 오래 좌우했다. 이 참가자가 모델을 고정된 도구가 아니라 그날그날 상태가 달라지는 것으로 다루고 있다는 점도 눈에 띈다. 컨디션과 잔여 토큰으로 고르는 방식은 이 참가자의 말이고, 다른 참가자 한 명은 오푸스로 감독하고 sol로 구현하는 조합을, 또 한 명은 luna를 최고 강도로 구현에 쓴다는 조합을 이야기했다. 이런 기준은 개인의 체감에 기대고 있어서, 다른 사람에게 그대로 옮겨 적용하기는 어려워 보인다.