로컬 추론 장비 논쟁과 대역폭이라는 쟁점

낮 열두 시를 넘기자 에이전트코리아 대화창의 화제가 장비로 쏠렸다. 여러 참가자가 내년에 장비를 더 늘리고 싶다는 계획을 차례로 꺼냈고, 램 128GB를 넘고 싶다는 바람과 함께 AI 연산용 전용 가속기를 만드는 업체의 제품을 기웃거린다는 말도 나왔다. 사고 싶은 것이 많다는 이야기가 이어지는 사이, 집에 있는 소형 AI 보드에 에이전트를 깔아 원격 접속으로 돌려 보면 웬만한 일은 할 수 있겠다는 구상도 올라왔다. 대화방의 반응은 놀람 반, 농담 반이었다.

용량보다 대역폭이라는 의견

흐름이 구체적인 장비 논쟁으로 넘어간 것은 512GB급 메모리를 개인용 PC에서 쓸 수 있느냐는 초보 참가자의 질문 때문이었다. 돈만 내면 가능하지만 가격이 매우 높다는 답이 돌아왔고, 이어 한 참가자가 대용량 통합메모리 맥에 큰돈을 쓰기보다 고성능 그래픽카드인 5090 같은 외장 GPU를 쓰는 편이 낫지 않겠느냐는 의견을 냈다. 근거는 속도였다.

대역폭이 문제라서.. 맥은..

대역폭은 메모리에서 연산 장치로 데이터를 퍼 나르는 속도를 뜻하며, 모델이 글자를 한 토큰씩 만들어 낼 때마다 모델 가중치를 읽어야 하므로 생성 속도를 좌우한다(기사 설명). 다른 참가자는 같은 가격대라면 전문가용 GPU 쪽도 대안이 된다고 거들었다. 그 사이 대역폭 계산법을 풀어 쓴 영상이 공유됐고 질문한 참가자가 감사 인사를 남겼지만, 감사 인사 뒤에도 또 다른 참가자가 단호하게 정리했다.

5090이 답이 맞음 진심

이 의견들은 어디까지나 대화 참가자들의 판단이며, 대화 중에 실제 속도를 나란히 잰 결과가 제시된 것은 아니다. 메모리가 클수록 좋다는 직관과 달리, 큰 메모리는 큰 모델을 올릴 수 있게 해 줄 뿐 빠르게 돌리는 일은 대역폭이 좌우한다는 것이 이 의견들의 바탕에 깔린 셈이다(기사 풀이).

저렴한 노트북에서 20토큰을 넘긴 실험

한 시간쯤 지나 이 논쟁에 실험 결과 하나가 얹혔다. 한 참가자가 ARM 계열 CPU에 별도 그래픽 메모리가 없고 램 32GB가 통합된 저렴한 미니 노트북으로 로컬 추론을 시도한 후기를 길게 적었다. 그 설명에 따르면 이런 장비는 원래 8B급 모델만 간신히 돌아가는데, 서빙 과정을 극한까지 손봐서 4비트 양자화(모델 용량을 줄이는 압축) 상태의 26B~35B 모델을 초당 약 19 ~ 25토큰으로 생성했고, 훨씬 큰 180B급 모델도 '4,41 토큰'까지 생성해 봤다고 했다(원문 표기 그대로이며 이 대목의 실행 조건은 대화에 적혀 있지 않다).

비교 대상은 인텔 코어 7에 RTX 5060(VRAM, 곧 그래픽 전용 메모리 8GB)과 램 32GB를 갖춘 노트북이었고, 그 노트북보다 결과가 더 잘 나왔다는 것이 이 참가자의 주장이다. 엔비디아 GPU가 아니라 CUDA(엔비디아 전용 연산 도구)를 쓸 수 없어서 GPU용 커널, 곧 연산을 직접 수행하는 핵심 프로그램을 처음부터 직접 만들었다는 설명도 붙었다. 이 수치는 참가자 본인이 올린 것으로, 대화 안에서 다른 사람이 재현한 기록은 없다.

결국 경량 장비에서 20토큰 이상 나오려면 추론 서빙 전용 커널을 별도로 만들어야 된다는 교훈

글에 대한 반응은 짧았다. 한 참가자는 외계어 같았다며 노고에 감사한다고 썼고, 다른 참가자는 핵심 단어를 되짚었다. 어려운 내용이라 토론이 이어지지는 않았지만, 장비 이야기에서 흔히 나오는 사양표와 가격 대신 소프트웨어를 장비에 맞춰 다시 짜는 쪽으로 대화가 한 걸음 옮겨 갔다.

해석과 시사점

한 시간 남짓한 두 대목을 이어 보면, 장비를 고르는 기준이 어디에 놓이는지가 달라지는 장면으로 읽힌다. 앞에서는 메모리를 얼마나 크게 사느냐를 묻다가 대역폭이 병목이라는 답이 나왔고, 뒤에서는 같은 병목을 하드웨어가 아니라 커널이라는 소프트웨어로 풀었다는 보고가 나왔다. 둘 다 사양표의 숫자 하나로는 로컬 추론 체감 속도를 가늠하기 어렵다는 점을 가리키는 것으로 보인다(기사 풀이).

다만 이 대화의 근거는 모두 참가자들의 주장과 경험담이다. 맥과 외장 GPU의 우열도, 노트북 실험의 초당 토큰 수도 대화 안에서 검증되지는 않았다. 장비 확장 계획을 세우는 사람이라면 메모리 용량과 함께 목표로 하는 모델 크기에서 대역폭이 얼마나 필요한지를 먼저 따져 보라는 정도가 이 논의에서 얻을 수 있는 실용적 메시지다.