권한 확인의 성가심과 감정 섞인 프롬프트 문답

어젯밤 늦은 시각의 에이전트코리아 대화창에 짧은 공유 한 건이 올라왔다. 한 참가자가 클로드 페이블(Fable)에게 꼼꼼함을 촉구하는 프롬프트라며 문구를 내놓은 것이다. 다른 참가자가 짧은 질문을 던졌다.

욕설과 비난?

질문은 프롬프트에 담긴 말투가 욕설처럼 읽힌다는 반응이었다. 공유한 참가자는 그 말투가 모델에게 어떻게 읽히는지 설명하려 했다. 그 말투 덕분에 모델 쪽에서 user is frustrated 같은 문구가 나온다는 것이었다. 그러자 질문했던 참가자가 스스로 해석을 정리했다.

감정배설이 아니라 툴콜링이죠

툴콜링은 모델이 도구를 불러 쓰는 동작을 가리키는 말인데, 여기서는 감정을 푸는 글이 아니라 모델을 특정 행동으로 이끄는 입력이라는 뜻으로 쓰였다. 공유한 참가자는 곧바로 그렇다고 받았고, 그렇게 해야 모델이 꼼꼼하게 본다고 주장했다. 이 대목은 서로 맞서는 논쟁이라기보다 한쪽의 경험담에 다른 쪽의 해석이 덧붙는 동의의 흐름에 가까웠다.

저렇게 해야 이제 꼼꼼하게 보는걸….

이 효과가 실제로 있는지는 대화 안에서 검증되지 않았다. 참가자의 경험담이 오갔을 뿐이고, 한 참가자는 전에 누군가 채찍 스킬을 만들지 않았느냐는 기억을 꺼내 비슷한 시도가 이전에도 있었다고 짚었다. 기사 설명을 덧붙이면, 이 대목은 프롬프트의 말투가 사람에게 주는 인상과 모델에게 주는 신호가 서로 다를 수 있다는 점을 짚은 것으로 풀이된다.

권한 확인을 두고 갈린 사용 습관

화제는 곧 클로드 코드의 권한 확인으로 옮겨 갔다. 한 참가자는 auto mode(권한 확인을 줄여 주는 모드로 보인다)를 기본으로 꺼 두고 쓴다고 했다. 메모리와 하네스 관련 파일을 고칠 때마다 켤 것인지 되묻는 점이 불편하다는 얘기였다.

저는 기본 auto mode off 로 해두고 쓰는데 메모리나 하네스 수정할때마다 자꾸 킬꺼냐고 물어보네요 성가시게 ㅎㅎㅎㅎ

같은 참가자는 실제로는 작업의 80 ~ 90퍼센트는 켜 두고 쓴다면서도 나머지 10 ~ 20퍼센트에서 생기는 작업 실수가 걸린다고 했다. 이유로는 잘못되면 쓸모없는 토큰만 태우는 경우를 많이 봤다는 점을 들었다. auto mode를 켜지 말라고 해도 모델이 그 지시를 메모리에 기록해 두고 같은 말을 되풀이하거나, 수정은 했지만 버전을 올리지 않았다는 식의 쓸데없는 보고를 늘어놓는 일도 불만으로 나왔다. 출력 토큰이 아깝다는 것이 그 참가자의 말이다.

반대편의 답은 간단했다. 처음 공유했던 참가자와 또 다른 참가자가 각각 자신은 언제나 권한 확인을 건너뛰는 모드로 쓴다고 밝혔다. 그러면서도 확인 질문이 완전히 사라지지는 않는다는 불평이 따라붙었다.

처음 공유했던 참가자는 그렇게 건너뛰어도 허구헌날 해도 되냐고 물어본다고 푸념했다.

읽히는 것

두 갈래의 대화는 겉으로는 다른 주제지만, 모델에게 얼마나 알아서 하도록 맡길지라는 한 질문으로 이어진다. 프롬프트에 감정 신호를 넣는 쪽은 입력으로 모델의 주의를 끌어내려 하고, 권한 모드를 조절하는 쪽은 실행 단계에서 모델의 자율 범위를 정한다. 어느 쪽도 효과가 확인되었다고 말할 단계는 아니다. 권한 확인을 줄이면 흐름은 매끄러워지지만 실수에 대한 안전망이 얇아지고, 켜 두면 안전하지만 되묻기가 잦아 속도가 깎인다는 참가자들의 말이 그 균형을 보여 준다.

기사 설명으로 덧붙이면, 이날 대화는 사용 요령이 아직 개인의 경험담에 기대고 있다는 점을 시사한다. 같은 모델을 쓰면서도 어떤 사람은 말투로, 어떤 사람은 설정으로 결과를 다듬고 있다. 이 방식들이 서로 다른 문제를 푸는 것인지, 같은 문제의 다른 해법인지는 이번 대화만으로는 가려지지 않는다.