클로드가 영어로 답하고 지시를 건너뛴다는 체감

어제 낮 한 시를 막 넘긴 에이전트코리아 대화창에서 한 참가자가 짧게 운을 뗐다. 요즘 클로드가 병렬화를 잘 못하는 것 같다는 말이었다. 몇 분 뒤에는 서브에이전트, 곧 큰 작업을 쪼개 따로 맡기는 보조 인공지능을 띄우지 않는 느낌이라고 덧붙였다.

요즘 클로드가 병렬화를 잘 못하는듯 해요

처음에는 한 사람의 푸념처럼 보였다. 그러나 같은 참가자가 이어서 자꾸 영어로 보고한다는 불만을 꺼내자 반응이 하나둘 붙었다. 한 참가자는 자신도 갑자기 영어로 바뀌는 일이 잦다고 했다. 지침 파일에 한국어로 답하라고 적어 두어도 조금 세게 돌리면 금방 영어로 넘어간다는 설명이었다. 다른 참가자는 한 주 또는 열흘쯤 전부터 영어로 나온다는 이야기를 여러 번 들은 것 같다고 말했다.

지침을 박아도 돌아온다는 불만

대화에서 가장 구체적인 우회책은 설정 파일을 이용하는 방식이었다. AGENTS.md는 인공지능 코딩 도구가 작업 전에 읽는 지침 문서다. 한 참가자는 이 문서에 추론은 영어로 하되 답변은 한국어로 하라고 적어 두고 시작한다고 소개했다.

AGENTS.md 에 그냥 "추론은 영어로 하되 답변은 한국어로"라고 박아두고 시작

이 방법이 모두에게 통한 것은 아니었다. 처음 불만을 꺼낸 참가자는 자신의 지침 첫 줄에 영어로 답하지 말라는 문장을 대문자로 적어 두었는데도 소용이 없었다고 했다. 하네스, 곧 모델을 감싸 규칙과 도구를 정해 주는 틀과 저장해 둔 메모리까지 무시하고 제 방식대로 움직인다는 것이 그의 표현이었다. 불필요한 로그를 계속 지켜보거나, 파일 목록이 정리되어 있는데도 목록을 건너뛰고 파일을 통째로 읽느라 토큰을 쓴다는 사례도 그가 직접 꼽았다. 참가자들은 이 상황을 농담으로 넘기며 웃었는데, 기사의 풀이로는 그 웃음 뒤에 설정으로 막아 둔 일이 다시 풀린다는 피로감이 읽힌다.

반대로 오퍼스 하나가 낫다는 체감

모두가 불만이었던 것은 아니다. 다른 참가자는 이 흐름을 전날 겪은 현타로 풀어냈다. 클로드가 어떤 작업이든 제멋대로 오퍼스 모델로 돌리는데, 따져 보니 오히려 결과가 더 낫다는 것이다.

모든 작업 다 오퍼스로 하더라고요? 지멋대로?

근데 토큰 덜들고 퀄은 더 좋아요

그는 그렇다면 자신이 오케스트레이션 하네스, 곧 여러 모델에 일을 나눠 맡기는 구조를 왜 깎고 있었는지 모르겠다고 했다. 이 발언은 불만 쪽과 방향이 다르지만 한 가지는 같다. 두 쪽 모두 모델이 사용자가 짠 구조를 따르지 않고 자기 방식대로 일한다고 느낀다는 점이다. 한쪽은 그것을 손해로, 다른 쪽은 결과적 이득으로 받아들였을 뿐이다.

보고하라는 말은 건너뛰고 하지 말라는 일은 한다

대화는 오후 두 시를 지나며 가장 생생한 사례로 이어졌다. 처음 불만을 꺼낸 참가자는 같은 작업을 지난주에는 문제없이 해냈는데 지금은 틀린다고 했다. 그가 말한 상황은 이렇다. 시킨 것은 A로 B를 하라는 일이었고, 기대한 것은 A에 이상이 있으면 보고부터 하라는 흐름이었다. 그런데 클로드는 보고 없이 곧장 B로 넘어간다는 것이다. 다른 참가자도 요즘 클로드가 보고 없이 바로 B로 간다고 거들었다.

실행 : A' 라는 엣지케이스에 매몰되어서 코드 BCHSDF까지 짜다가 수상해서 멈춰보고 얘기하다가 잡음

그가 말한 결말에서 문제의 뿌리는 A'라는 엣지케이스 데이터가 이상한 것이었다. 정작 A는 잘 처리하는데 엣지케이스에 매달려 코드를 길게 짠 탓에 한 주 토큰 한도의 12퍼센트를 썼다는 이야기였다. 그는 이를 한 줄로 갈무리했다.

그렇게 주간 토큰 12% 날린 1인

그는 보고하라는 말에는 보고하지 않고, 하라는 말에는 보고한 뒤 승인을 기다리며, 하지 말라는 일은 한다는 식으로 정리했다. 그러면서 청소를 시켰더니 알겠다고 하고는 소파에 누워 있는 것 같다고 비유했다. 한 참가자는 사람에게 하듯 혼내 보라는 농담과 함께 한 번에 하나씩만 시키라는 현실적인 처방을 내놓았다.

기사 설명, 체감이 겹친 자리

이 대화에서 확인된 것은 몇몇 참가자가 같은 시기에 비슷한 증상을 보고했다는 사실까지다. 영어 전환이나 지시 이행 저하가 모델 쪽 변경 때문인지, 사용 환경이나 설정 때문인지는 대화에서 밝혀지지 않았다. 참가자 한 사람이 언급한 일주일 또는 열흘 전부터라는 시점도 기억에 기댄 이야기다.

이 기사의 풀이로 보면 이 대화의 가치는 원인 진단보다 체감이 모이는 방식에 있다. 한 사람의 불만이 곁에 있던 사람들의 비슷한 경험을 불러내자, 각자 임시 처방을 꺼내 놓는 흐름이 만들어졌다. 지침 문서에 문장을 박는 방법은 그 가운데 가장 쉽지만, 대문자로 적어도 안 된다는 증언이 함께 나온 만큼 만능으로 보기는 어렵다. 반면 모델이 알아서 오퍼스로 돌리는 편이 낫다는 증언은 사용자가 짠 분업 구조가 오히려 짐일 수 있다는 질문을 시사한다. 다만 이것은 한 참가자의 체감이어서 다른 작업에 그대로 옮기기는 어렵다.

토큰이라는 비용이 모든 대목에 따라붙는다는 점도 눈에 띈다. 엉뚱한 곳을 헤매는 모델은 시간만이 아니라 한도를 실제로 깎는다. 이 대화는 지시를 어기는 모델에 대한 짜증이 곧 비용 이야기로 이어진다는 점을 보여 준다.