일론 머스크가 파이썬을 버린 이유: 스페이스X 비밀
🎧 오디오 재생: 스페이스X 22만 대 GB300 AI 클러스터의 비밀.mp3
🎧 오디오 재생: 스페이스X 22만 대 GB300 AI 클러스터의 비밀스페이스X 22만 대 GB300 AI 클러스터의 비밀1.mp3
SYNCING_NODE
- 제1막: 괴물의 탄생과 숨겨진 병목 (The Colossus II)
그런데 말입니다. 만약 여러분이 통제해야 할 컴퓨터가 한두 대가 아니라, 무려 22만 대의 최첨단 AI 반도체라면 어떨까요?
오늘 제가 들려드릴 이야기는, 극한의 물리적 한계에 부딪힌 AI 산업의 민낯과, 그 한계를 돌파하기 위해 세상에서 가장 우아하고 편한 소프트웨어를 과감히 쓰레기통에 처박아버린 스페이스X(SpaceX) 엔지니어들의 잔혹하고도 경이로운 '코드 해킹' 실화입니다. 마치 한 편의 테크 스릴러 영화를 보듯, 편안하게 따라와 주시죠.
미국 어딘가에 지어진 거대한 요새, '콜로서스 II(Colossus II)'에서 시작됩니다. 이곳은 평범한 데이터센터가 아닙니다. 기가와트(GW) 급의 전력을 집어삼키며, 궁극적으로 100만 대의 엔비디아(NVIDIA) 칩을 수용하게 될 인류 역사상 가장 거대한 'AI 팩토리'죠.
이 요새의 심장에는 인류 최고의 명작이라 불리는 GB300 슈퍼칩이 박혀있습니다. 이 녀석의 스펙을 보면 그야말로 입이 떡 벌어집니다. 칩 하나에 12단으로 쌓아 올린 288GB의 메모리가 탑재되어 있고, 데이터 전송 속도는 무려 초당 7.1 테라바이트(TB/s)에 달합니다. 특히 'NVFP4'라는 4비트 처리 기술을 도입해서, 모델의 똑똑함은 그대로 유지한 채 머릿속 공간을 두 배로 압축해버리는 마법을 부렸죠.
실제로 이 시스템은 이전 세대 괴물이었던 H200보다 무려 5배나 빠른 압도적인 처리량을 자랑합니다.
그런데, 이 완벽해 보이는 하드웨어에는 아주 치명적인 '설계상 아킬레스건'이 하나 숨어있었습니다.
GPU는 더하기 곱하기 같은 단순한 '행렬 곱셈'은 미친 듯이 잘하지만, 조금 복잡한 연산(소프트맥스 등)을 하려면 '다중 기능 유닛(SFU)'이라는 별도의 구역으로 일을 넘겨야 하거든요? 문제는 이 둘의 속도 차이가 무려 256배나 난다는 겁니다. 한쪽은 미친 듯이 달리고 있는데, 한쪽은 자전거를 타고 가는 셈이죠. 이 둘이 쉬지 않고 톱니바퀴처럼 맞물려 돌아가게 하려면 엄청나게 정밀한 스케줄링이 필요합니다.
자, 여기서 비극이 시작됩니다. 22만 대의 칩이 800 Gb/s 속도의 네트워크로 묶여 있는 이 거대한 시스템을, 그 편하고 좋다는 파이썬과 JAX가 도저히 감당하지 못하기 시작한 겁니다.
이 거대한 클러스터에서 파이썬 기반의 JAX가 겪는 문제는 수학적으로 아주 명백한 재앙이었습니다.
이를 '스트래글러(Straggler, 낙오자) 현상'이라고 부르는데요. 훈련을 시킬 때 22만 대의 GPU는 매 순간 서로의 결과값을 똑같이 맞춰보는 '동기화' 과정을 거쳐야 합니다. 만약 단 하나의 칩이라도 네트워크에 병목이 생기거나 파이썬 내부의 찌꺼기 청소(가비지 컬렉션) 때문에 0.1초 멈칫한다면 어떻게 될까요? 나머지 219,999대의 GPU가 그 한 놈이 끝날 때까지 멍하니 손을 놓고 기다려야 합니다.
수학 공식 같은 건 다 빼고 아주 쉽게 비유해 볼게요. 22만 대의 컴퓨터가 모여서 하나의 거대한 조별 과제를 한다고 상상해 보시겠어요?
다음 단계로 넘어가려면 22만 대 모두가 각자의 계산을 끝내고 동시에 답을 맞춰봐야만 합니다. 만약 21만 9,999대가 빛의 속도로 일을 끝냈더라도, 딱 한 대가 시스템에 찌꺼기가 끼어 0.1초 늦게 답을 내면 어떻게 될까요? 나머지 모든 컴퓨터가 그 굼벵이 하나 때문에 꼼짝없이 손을 놓고 기다려야만 합니다.
컴퓨터가 22만 대나 모여 있으면, 그중 누군가 하나는 반드시 네트워크 지연 때문에 지각을 하게 마련이거든요. 피할 수 없는 100% 확률의 재앙인 셈이죠.
엎친 데 덮친 격으로, 일반적인 클라우드 시스템은 데이터라는 자동차들이 어느 케이블 도로를 타고 갈지 매번 내비게이션을 켜고 길을 새로 찾습니다. 22만 대가 동시에 통신을 하려는데 매번 길을 새로 찾으니, 당연히 네트워크 안에서 끔찍한 트래픽 잼이 일어날 수밖에 없겠죠.
이때, 스페이스X를 이끄는 일론 머스크가 극단적인 결단을 내립니다. "편리한 프레임워크? 다 버려. 우리는 가장 원시적이고 잔인한 베어메탈(Bare-metal)로 간다. C 언어로 처음부터 끝까지 다 짠다."
이건 마치 최첨단 자동항법장치를 뜯어내고, 조종사가 직접 수동으로 기어를 조작하겠다는 소리나 다름없었습니다. 하지만 스페이스X 엔지니어들에게 이건 너무나 익숙한 방식이었죠. 왜냐고요? 팰컨 9 로켓을 우주로 쏘아 올리고 다시 땅에 정확히 착륙시킬 때, 파이썬 같은 느긋한 언어를 쓸까요? 절대 아닙니다. 0.001초의 오차가 로켓의 폭발로 이어지는 우주 공학에서는, 하드웨어를 나노초 단위로 완벽하게 통제하는 C와 C++만이 허락되거든요.
그들은 이 '로켓 제어의 DNA'를 AI 데이터센터에 그대로 이식해 버립니다. 이름하여 '정확한 매핑(Exact-Mapping)'. 소프트웨어가 이리저리 길을 찾는 게 아니라, 22만 대의 GPU가 꽂혀있는 스위치 위치, 케이블 배선, 심지어 랜카드의 물리적 주소까지 C 코드에 아예 박아버린(하드코딩) 겁니다. 데이터가 라우터에서 길을 잃을 일? 없습니다. 한 치의 오차도 없이 정확한 마이크로초 단위에 다른 GPU의 메모리로 데이터를 꽂아버리죠.
결과는 어땠을까요? JAX를 썼을 때 툭하면 끊어지던 파이프라인의 거품이 완벽하게 사라지면서, 무려 10배 이상의 속도 향상이라는 믿기 힘든 기적을 만들어냈습니다. 22만 대의 거대한 컴퓨터가 클라우드가 아닌, 마치 '하나의 거대한 로켓 엔진'처럼 완벽하게 통제되기 시작한 겁니다.
단순히 훈련 속도만 빨라진 게 아닙니다. 이 미친 속도의 C 스택은 AI가 스스로 시뮬레이션을 돌리며 학습하는 '고속 강화학습(RL) 추론'에서도 진가를 발휘합니다. CPU와 GPU 사이를 빛의 속도로 오가며 데이터를 쓰레받기처럼 퍼 나르는 거죠.
그런데 여러분, 이 이야기는 단순히 코딩 잘하는 천재들의 무용담으로 끝나지 않습니다. 이 압도적인 컴퓨팅 권력을 쥐게 된 스페이스X는 곧바로 시장에서 소름 돋는 무자비한 행보를 보이기 시작하거든요.
최근 스페이스X가 연 매출 30억 달러를 찍으며 역사상 가장 빠르게 성장 중인 AI 코딩 플랫폼, '커서'를 무려 600억 달러 가치에 인수하기로 했다는 소식, 들으셨나요? 흥미로운 건 인수가 무산돼도 스페이스X가 100억 달러의 위약금을 주겠다는 미친 조건을 걸었다는 겁니다.
이유가 뭘까요? 커서에게 이 무한한 GB300 슈퍼컴퓨팅 자원을 마음껏 쓰게 해주는 대신, 전 세계 수많은 프로그래머들이 커서 위에서 코딩하며 만들어내는 '진짜 고품질의 코딩 데이터'를 실시간으로 빨아들이려는 속셈입니다. 컴퓨팅 리소스를 인질 삼아 가장 완벽한 훈련 데이터를 얻어내는 극강의 딜이었죠.
이 컴퓨팅 권력의 위력은 경쟁사 앤트로픽과의 거래에서 정점을 찍습니다.
스페이스X가 앤스로픽에게 콜로서스 데이터센터의 자원 일부를 빌려주기로 했는데, 계약 기간을 '180일 임대, 90일 전 해지 통보'라는 초단기 조건으로 묶어버린 겁니다.
모델 하나 훈련하는 데 수개월이 걸리는 AI 시장에서, 단 6개월짜리 시한부 컴퓨팅 자원? 앤트로픽 입장에서는 언제 전원 플러그가 뽑힐지 모르는 불안감에 떨며 목줄이 쥐여진 셈입니다. 일론 머스크는 AI 업계에서 '가장 희귀한 화폐(컴퓨팅)'를 독점한 중앙은행의 발권력을 쥐게 된 것이죠.
지상에서 이 거대한 22만 대의 시스템을 10배 빠른 속도로 풀가동하게 되자, 또 다른 치명적인 문제가 발생합니다. 바로 열과 전력이죠. 콜로서스 데이터센터 하나가 소모하는 전력은 이미 중소형 도시 전체를 합친 것과 맞먹습니다. 아무리 액체 냉각을 때려 부어도, 지구의 환경과 전력망으로는 이 불타오르는 기가와트급 랙들을 감당할 수가 없는 한계점에 도달한 겁니다.
이때 스페이스X의 시선은 자연스럽게 자신들의 본업, '우주'로 향합니다.
지상의 전력 한계와 발열을 피할 수 있는 가장 완벽하고 궁극적인 데이터센터의 부지. 무한한 태양광 전력을 쓸 수 있고, 절대영도에 가까운 진공 상태가 열을 무한정 흡수해 주는 곳
바로 '궤도 데이터센터'입니다.
수백만 대의 위성을 띄워 우주 궤도에서 AI를 훈련시키고, 스타링크 통신망을 통해 계산이 끝난 가벼운 정답 데이터만 지구로 쏴주는 이 공상과학 같은 계획. 우주 방사선과 극한의 환경 속에서 단 1 나노초의 오차도 없이 시스템을 굴려야 하는 우주 데이터센터를 현실로 만들기 위해서는, 파이썬 같이 덩치가 크고 예측 불가능한 언어로는 턱도 없습니다.
그래서 그들은 JAX를 버리고 가장 낮고 원초적인 언어, C 스택으로 하드웨어를 직접 제어하는 훈련을 지상에서 완벽하게 마친 겁니다.
어떠신가요? 편의성과 타협했던 세상에서 벗어나, 물리적 한계를 가장 밑바닥에서부터 뜯어고쳐 버린 스페이스X의 이 치열한 하드웨어-소프트웨어 해킹 스토리
미래의 진정한 AI 패권은 우아한 클라우드 코드를 짜는 사람이 아니라, 쇳덩어리와 전선의 한계를 가장 밑바닥에서 통제하는 자들의 손에 쥐어질 것이라는 걸, 이 이야기는 아주 섬뜩하게 경고하고 있습니다.
끝없는 연산을 갈구하며 우주로 향하는 인류의 거대한 뇌. 그 기상천외한 진화는 과연 어디까지 이어질까요? 다음 이야기가 벌써부터 기다려집니다.