AI 서버 도입을 가로막는 서버실 조건과 견적 급등

오늘 오전, 공공AX 네트워크의 대화는 컴퓨터 이야기에서 시작됐다. 한 참가자가 각 직원 컴퓨터에서 로컬로 RAG를 만들어 보려 했지만 조달 컴퓨터로는 아예 불가라고 보는 게 맞느냐는 취지로 적었고, 곧이어 다른 참가자가 램과 그래픽카드를 지자체가 선제적으로 확보해야 하느냐고 물었다. 앞서 RAG를 말했던 참가자는 서버 도입 경험이 있다며, 개별로 사는 건 효율이 떨어지니 결국 서버를 사야 한다고 답했다. 질문을 던진 쪽은 AI실을 만드는 것이 목표라고 밝혔다.

이 대화에서 먼저 드러난 것은 가격이다. 서버 도입 경험자의 설명에 따르면 올해 1월에 1.5억 원어치를 바로 발주해 3월 말에 받았는데, 7월에 다시 견적을 받자 2억 6천만 원이 나왔고 내년 1월 기준으로 뽑아 달라고 하자 3억 2천만 원이 나왔다. 같은 사양을 비교한 것인지는 대화에 나오지 않는다.

내년 1월 기준으로 다시 뽑아달라니까 3억2천부르네여

이유를 묻는 말에 그는 수출통제와 램값 상승, 부품 상승이 겹쳐 시장가 자체가 오르고 있다고 풀었다. 다른 참가자도 서버 비용이 1년마다 1.5배, 2배씩 뛴다고 거들었고, 1년 전 1300이던 pro 6000(그래픽카드 이름으로 보인다)이 지금은 2900이라는 수치를 들었는데, 단위는 밝히지 않았다. 모두 참가자가 전한 경험과 주장이며, 이 기사가 시장 전체의 가격을 확인한 것은 아니다.

돈의 문제와 별개로, 서버를 들일 공간의 조건이 이어졌다. 한 참가자는 워크스테이션 한 대만 돌려도 5인 사무실이 따뜻해진다고 했고, 헤어드라이기를 계속 켜 놓는 수준의 전기세라는 말까지 붙었다. 이에 서버 도입 경험자는 AI 서버는 일반 서버와도 다르다며 전기와 수도, 서버용 전원 분배 장치(PDU)와 전원 공급 장치(PSU)까지 고려해야 한다고 말했다. 가장 구체적인 경고는 전원 쪽에서 나왔다.

그냥 일반 서버랙에 넣고 pdu연결하면 일반 서버용 랙에서는 포트 녹아버립니다 그래서 ai서버용 별도 pdu를 해줘야해요

그는 이어 19c 기준으로 최소 20 ~ 50A를 견딜 수 있는 별도 두꺼비집(분전반)과 UPS, UPS가 떨어지면 바로 끌 수 있는 체계가 필요하다고 했고, 정전이 나면 UPS도 못 버틸 수 있다고 덧붙였다. 서버의 물리적 크기는 기존 서버와 같은 4U나 8U 수준이지만, 일부 대형 모델은 랙 한 대 전체를 차지한다는 설명도 있었다. 수랭식을 쓰려면 수도 배관이 있어야 하고 층고가 높을수록 전기·통신 배선 관리가 쉽다는 이야기도 나왔다.

수도 = 수랭식 가능 층고 = 전기, 통신 배선 관리 용이

이 대목이 현장에서 무게를 얻은 이유는 지자체 쪽 사정에 있다. 대화에 참여한 한 사람은 마침 신청사를 계획 중이라며, 건축 설계 단계에서 로컬 서버를 돌릴 수 있다는 점을 감안한 자문이 필요하다고 말했다. 설계자들이 이런 부분을 고려하지 않으면 건물을 다 지어 놓고 사무실 벽을 허물어 공간을 다시 마련해야 할 것 같다는 걱정이었다. 이후 광역 단위는 보통 데이터센터를 운영하니 견학을 가 보라는 조언, 행정망에 VPN을 붙여 공공기관용 데이터센터를 외부에 두는 방식이 가능하지 않겠느냐는 아이디어가 나왔다.

한 시간쯤 뒤인 11시 반 무렵 같은 화제는 납기로 돌아왔다. 한 참가자가 그래픽카드보다 서버 딜리버리가 적기에 될 것 같지 않은데 가능은 한가 보다고 하자, 서버 도입 경험자는 아수스 6개월, 기가바이트 3개월이라고 전했고 아수스는 요즘 견적도 안 내준다더라고 덧붙였다. 어느 제품의 기간인지 대화에 명시되진 않았고 전해 들은 말이다. 이를 받은 참가자는 이렇게 평했다.

돈들고 못사는 기이한 현상

두 갈래의 이야기를 겹쳐 읽으면, 공공기관이 AI 서버를 들이는 일은 구매 한 번으로 끝나지 않는다는 점이 보인다. 견적이 올해 1월 이후 뛰었다는 경험담은 예산을 확정하고 계약을 마치기까지의 시간이 곧 비용이 될 수 있음을 시사하고, 전용 전력과 배관과 층고 조건은 기존 전산실을 그대로 쓰기 어려울 수 있음을 알린다. 이는 참가자들의 경험에 바탕한 풀이이며 기관마다 조건은 다를 것이다. 그럼에도 오늘 대화에서 도구 선택이나 활용법보다 서버실과 구매 시점이 먼저 거론됐다는 사실은, 공공 분야의 AI 도입 논의가 소프트웨어에서 설치 환경과 조달 일정으로 옮겨 가고 있음을 보여 준다.