"GPU 26만 장을 공급하겠습니다"

젠슨 황, 이재용, 정의선.

지난해 10월 이른바 ‘치맥 회동’으로 화제가 된 만남 직후, 엔비디아 CEO 젠슨 황이 국내 기업과 정부에 GPU 총 26만 장을 공급하겠다고 밝혔습니다.

하지만 여기서 한 가지 고민이 생깁니다.

이렇게 많은 GPU를 우리는 과연 제대로 운영할 준비가 되어 있을까요?

AI는 이제 단순히 있으면 편리한 기술을 넘어서, 국가 경쟁력과 산업 주권, 그리고 안보와도 연결되는 핵심 전략 자산으로 자리잡고 있습니다. 누가 AI를 만들고, 어떤 데이터로 학습시키며, 어느 인프라 위에서 이를 운영하는지에 따라 한 국가의 기술 역량이 크게 달라지는 시대가 되었죠.

전 세계는 이미 AI 인프라 확보 경쟁에 본격적으로 뛰어들고 있으며, 우리 정부도 100조 원 규모의 투자와 함께 ‘글로벌 AI 3강’ 달성을 목표로 AI 생태계 구축에 속도를 내고 있습니다.

AI는 이제 빌려 쓰는 기술이 아닙니다

챗지피티(ChatGPT), 제미나이(Gemini), 클로드(Claude) 등 이미 많은 산업에서 외부 AI 서비스를 적극 활용하고 있습니다.

하지만 AI를 외부 플랫폼에 의존할 경우 몇 가지 한계가 존재합니다.

• 특정 플랫폼 의존도가 높아지면서 비용이나 정책 변화에 쉽게 영향을 받을 수 있다는 점
• 데이터가 외부로 오가면서 생길 수 있는 통제력 저하와 보안 리스크
• 글로벌 모델 위주로 움직이다보니 각 나라의 문화나 언어적 맥락이 충분히 반영되지 않는다는 점

AI를 핵심 인프라로 활용할수록, 이런 문제들은 단순한 불편을 넘어 실제 운영 리스크로 이어집니다. 이런 이유로 최근 ‘소버린 AI’라는 개념이 주목받고 있습니다.

핵심은 단순합니다. 외부에 맡길지, 아니면 직접 운영할지 선택해야 한다는 점이죠.

결국 각 나라나 조직이 자체 데이터와 인프라를 바탕으로 AI를 얼마나 통제할 수 있느냐가 기술 경쟁력의 핵심이 되고 있습니다. 최근 국내에서 NAVER의 HyperCLOVA X, LG AI연구원의 EXAONE 등 자체 초거대 AI 모델 개발이 이어지고 있는 이유 역시 여기에 있습니다.

소버린 AI는 결국 인프라의 문제입니다

AI를 직접 만들고 운영한다는 것은 결국 이를 실제로 돌릴 수 있는 물리적 기반이 갖춰져야 한다는 의미입니다. 아무리 뛰어난 인공지능 모델을 갖고 있어도, 안정적으로 학습시키고 서비스로 운영할 인프라가 없다면 소버린 AI는 현실이 될 수 없습니다. 이렇다 보니 AI 경쟁은 자연스럽게 인프라 경쟁으로 이어지고, 그 중심에는 GPU가 자리 잡고 있습니다.

생성형 AI와 초거대 언어모델(LLM)은 이미지, 음성, 텍스트를 학습하고 추론하는 데 막대한 연산 자원이 필요합니다. 이 연산을 가장 효율적으로 처리하는 장치가 GPU이며, 이제 GPU는 단순한 그래픽 장비를 넘어 AI 인프라의 핵심 요소로 자리 잡고 있습니다.

GPU는 들여오는 것보다 운영하는 것이 더 어렵습니다

GPU는 단순히 비싼 장비일 뿐만 아니라, 제대로 운영하는 것도 만만치 않습니다. AI 인프라가 커질수록 GPU는 수많은 서버와 환경에 분산되고, 동시에 여러 작업과 연결됩니다.

이쯤 되면, 더 이상 부족한 자원이 문제가 아닙니다. 복잡해지는 운영이 더 큰 고민거리로 떠오릅니다. GPU 사용률은 높게 나타나는데, 실제 성능은 기대에 못 미치고, 특정 자원에 과부하가 걸려 병목 현상이 발생하고, 발열이나 시스템 오류로 성능이 떨어지는데도 원인을 바로 찾기가 쉽지 않습니다.

겉보기엔 시스템이 정상처럼 보여도 실제로는 자원이 비효율적으로 소모되는 일이 벌어집니다.

AI 인프라는 통합 관점으로 봐야 합니다

AI 인프라 운영이 어려운 이유는 GPU만 따로 봐서는 전체 상황을 제대로 이해할 수 없기 때문입니다.

실제 환경에서는 GPU가 서버 위에서 돌아가고, 이 서버들은 다시 네트워크와 스토리지 등 다양한 인프라와 연결되어 여러 작업을 처리합니다. 이렇게 여러 구조가 얽혀 움직이다 보니, 성능이 떨어지거나 문제가 생겼을 때 어디서 비롯된 건지 원인을 찾기 쉽지 않습니다.

그렇기에 GPU를 개별적인 자원이 아니라 운영 자원으로 보고, 어떤 작업과 연결되어 있는지, 또 실제로 성능 저하가 발생하는지까지 함께 추적해야 합니다.

예를 들어, GPU 사용률은 높게 나타나지만 실제 AI 연산 효율은 기대에 못 미치는 경우가 있습니다. 또, 여러 개의 MIG 인스턴스가 할당된 환경에서는 특정 인스턴스에만 부하가 집중되거나, GPU가 발열로 인해 스스로 성능을 낮추는 스로틀링 현상이 나타나기도 합니다. 이런 상황에서는 단순히 사용률이나 온도 지표만으로는 정확한 원인을 파악하기 어렵습니다.

단순한 GPU 사용률뿐만 아니라, 스로틀링이나 XID 오류, ECC 에러 등 성능 저하와 직접적으로 연결되는 지표들을 함께 분석해 GPU 상태를 보다 정밀하게 파악해야 합니다. 이를 통해 단순한 사용 상태가 아닌 실제 운영 상태를 기준으로 GPU를 진단할 수 있습니다.

또한 GPU를 쪼개어 사용하는 MIG 환경에서도 특정 자원에 부하가 집중되는지 한눈에 확인할 수 있어, 자원 편중이나 병목 현상도 빠르게 찾아낼 수 있습니다. 여기에 쿠버네티스 환경과 연계해 어떤 AI 작업(파드)이 GPU를 사용하고 있는지까지 함께 확인할 수 있어, 실제로 어떤 작업이 과부하를 일으키고 있는지도 직관적으로 파악할 수 있습니다.

GPU 성능 이슈가 발생한 서버의 현황부터 GPU 상세 정보 및 하위 MIG 인스턴스까지 단계별로 내려가며 확인할 수 있어 문제 발생 지점을 빠르게 좁혀갈 수 있습니다. 또한 복잡한 GPU 진단 지표 역시 사용자 친화적으로 제공해, 운영자는 단순 수치 확인을 넘어 현재의 문제 상황과 필요한 조치 방향까지 명확하게 이해할 수 있습니다.

AI 경쟁력의 마지막 퍼즐은 운영 기술

소버린 AI는 단순히 자체 모델을 갖췄다고 끝이 아닙니다. 데이터와 인프라를 직접 관리하고, 안정적으로 운영하며, 나아가 지속적으로 확장해 나갈 수 있는 역량까지 포함합니다. 아무리 많은 GPU를 확보했다고 해도 운영이 뒷받침되지 않으면 그 자체로 경쟁력이 되지 않습니다. 고가의 인프라를 실제 성과로 전환하려면 운영 단계에서의 가시성과 통제력이 반드시 필요합니다.

즉, 소버린 AI를 완성하는 마지막 퍼즐은 ‘운영 기술’이며, 그 출발점은 ‘통합 모니터링’입니다.

와치올은 이러한 운영 가시성을 기반으로, AI 인프라를 보다 안정적으로 관리하고 실제 성과로 이어질 수 있도록 지원합니다. AI 인프라를 확보했다면, 이제 점검해야 할 것은 운영입니다. 앞으로의 경쟁력은 GPU 보유량이 아니라, 얼마나 효율적으로 운영하느냐에 달려 있습니다.