600킬로와트 랙과 백만 개의 토큰 메모리로 GPU의 틀을 깨는 NVIDIA Vera Rubin
NVIDIA의 CEO인 젠슨 황은 GTC 2025에서 2027년까지 데이터센터 랙을 600킬로와트까지 끌어올릴 것이라는 폭탄 발언을 하여 인프라 팀이 계산기를 두드리게 만들었습니다.¹ 이 발표는 데이터센터 운영 방식의 근본적인 변화를 의미하며 수십 년 동안 본질적으로 변하지 않았던 전력 공급, 냉각 시스템 및 물리적 인프라를 완전히 다시 생각하게 만들었습니다.
베라 루빈 플랫폼은 NVIDIA의 가장 야심찬 도약을 상징합니다. 이 멀티 컴포넌트 시스템은 커스텀 Vera CPU, 차세대 Rubin GPU, 그리고 백만 토큰 AI 워크로드를 위해 특별히 설계된 특수 Rubin CPX(컨텍스트 처리 확장) 가속기를 결합합니다.² 일반적인 GPU 세대의 점진적 개선과 달리, Vera Rubin NVL144 CPX 변형은 현재 Blackwell GB300 시스템보다 7.5배의 AI 성능을 제공하면서 GPU의 패키지, 냉각 및 배포 방식을 근본적으로 변화시킵니다.³
"우리는 역사상 4세대에 걸친 무언가를 발표한 최초의 기술 기업입니다."라고 황은 2028년까지 엔비디아의 로드맵을 설명하며 Data Center Dynamics에 설명했습니다.⁴ 이러한 투명성은 인프라 제공업체, 데이터센터 운영업체, Introl 같은 기업에게 AI 인프라의 완전한 재구상에 대비하는 데 필요한 리드 타임을 제공한다는 중요한 목적을 달성하는 데 도움이 됩니다.
2026년 하반기에 출시될 3.6 엑사플롭의 FP4 추론 성능과 GB300 NVL72 대비 3.3배 향상된 성능을 보여주는 NVIDIA Vera Rubin NVL144 플랫폼 사양입니다.
아키텍처 혁명은 맞춤형 실리콘에서 시작됩니다.
블랙웰부터 파인만까지 NVIDIA의 전체 로드맵을 통해 최대 600kW 전력 소비를 지원하는 오베론에서 카이버 랙 아키텍처로의 진화를 확인할 수 있습니다.
베라 CPU는 88개의 커스텀 ARM 코어와 동시 멀티스레딩 기능을 갖춘 176개의 논리적 프로세서를 지원하는 88개의 커스텀 ARM 코어를 특징으로 하는 NVIDIA의 기성 ARM 설계에서 벗어난 제품입니다.⁵ NVIDIA는 이 커스텀 코어를 "Olympus"라고 부르며, 이 디자인은 현재 Blackwell 시스템에서 사용되는 Grace CPU보다 2배의 성능을 제공합니다.⁶ 각 Vera CPU는 1.8TB/s NVLink C2C 인터페이스를 통해 Rubin GPU에 연결되므로 컴퓨팅 요소 간에 전례 없는 대역폭이 가능합니다.⁷
표준 Rubin GPU는 패키지당 288GB의 HBM4 메모리로 한계를 뛰어넘어 Blackwell Ultra B300과 동일한 용량을 유지하면서 메모리 대역폭은 8TB/s에서 13TB/s로 증가했습니다.⁸ 각 루빈 패키지에는 2개의 레티클 제한 GPU 다이가 포함되어 있지만, NVIDIA는 카운팅 방법론을 변경하여 블랙웰은 하나의 GPU(2개의 다이)를, 루빈은 2개의 GPU를 사용합니다.⁹ 이러한 변경은 멀티 다이 아키텍처의 복잡성 증가를 반영하고 고객이 각 시스템에서 실제 컴퓨팅 리소스를 더 잘 이해할 수 있도록 돕습니다.
가장 혁신적인 요소는 대규모 컨텍스트 처리를 위해 특별히 제작된 가속기인 Rubin CPX의 형태입니다. 모놀리식 설계는 비용 효율적인 128GB의 GDDR7 메모리로 30페타플롭의 NVFP4 컴퓨팅을 제공하며, 특히 트랜스포머 모델의 주의 메커니즘에 최적화되어 있습니다.¹⁰ CPX는 GB300 NVL72 시스템에 비해 3배 빠른 주의 기능을 달성하여 AI 모델이 성능 저하 없이 1시간 분량의 비디오 또는 전체 코드베이스에 해당하는 백만 토큰 컨텍스트를 처리할 수 있도록 지원합니다.¹¹
배포를 위해서는 인프라를 전면적으로 점검해야 합니다.
2026년 하반기에 출시될 예정인 표준 베라 루빈 NVL144 시스템은 익숙한 오베론 랙 아키텍처를 활용하여 기존 GB200/GB300 인프라와의 호환성을 유지합니다.¹² 이 시스템은 144개의 GPU 다이(72개 패키지)와 36개의 베라 CPU를 탑재하고 3.6 엑사플롭스의 FP4 추론 성능을 제공하여 블랙웰 울트라보다 3.3배 개선되었습니다.¹³ 전력 소비는 랙당 약 120-130kW로 현재 구축과 유사하게 관리 가능한 수준을 유지하고 있습니다.
베라 루빈 NVL144 CPX 버전은 성능을 더욱 향상시켜 144개의 표준 루빈 GPU 및 36개의 베라 CPU와 함께 144개의 루빈 CPX GPU를 통합하여 단일 랙에서 100TB의 고속 메모리와 1.7 PB/s의 메모리 대역폭으로 GB300 NVL72보다 7.5배 향상된 8 엑사플롭의 NVFP4 컴퓨팅을 제공합니다.¹⁴
2027년 루빈 울트라 및 카이버 랙 아키텍처로 모든 것이 바뀝니다. NVL576 시스템은 576개의 GPU 다이를 단일 랙에 집적하여 현재 시스템의 5배인 600kW의 전력을 소비합니다.¹⁵ Kyber 설계는 컴퓨팅 블레이드를 수직 방향으로 90도 회전시켜 각각 18개의 블레이드로 구성된 4개의 포드를 랙에 집적합니다.¹⁶ 각 블레이드에는 8개의 루빈 울트라 GPU와 베라 CPU가 함께 배치되어 불과 몇 년 전에는 불가능하다고 여겨졌던 밀도를 달성합니다.
1.1 엑사플롭을 제공하는 72개의 GPU를 갖춘 최신 NVIDIA 블랙웰 시스템
단일 600kW 랙에서 576개의 GPU와 15 엑사플롭으로 확장되는 미래의 NVIDIA 루빈 시스템
이러한 시스템을 냉각하려면 팬 없이 완전한 액체 침수가 필요하며, 이는 보조 부품에 일부 공냉을 사용하는 현재 시스템에서 벗어난 것입니다.¹⁷ CoolIT Systems와 Accelsius는 이미 40°C 입구 수온에서 250kW 랙을 처리할 수 있는 냉각 솔루션을 시연하여 600kW 구축을 향한 기술 경로를 검증했습니다.¹⁸ Kyber 랙에는 전력 및 냉각 인프라를 위한 전용 사이드카가 포함되어 있어 각 600kW 시스템당 2개의 랙 설치 공간이 효과적으로 요구됩니다.¹⁹
전력 아키텍처의 진화로 메가와트급 컴퓨팅이 가능해졌습니다.
NVIDIA의 800VDC 전원 분배로의 전환은 현재 인프라의 근본적인 물리학적 한계를 해결합니다. 기존의 54V 랙 내 배전은 카이버 스케일 시스템을 위해 64U의 전원 선반이 필요하므로 실제 컴퓨팅을 위한 공간이 없습니다.²⁰ 800V 아키텍처는 랙 수준의 AC/DC 변환을 제거하고, 엔드투엔드 효율성을 최대 5% 개선하며, 유지보수 비용을 최대 70%까지 절감합니다.²¹
새로운 전력 인프라는 동일한 백본을 사용하여 100kW에서 1MW 이상의 랙을 지원하며, 미래 세대를 위해 필요한 확장성을 제공합니다.²² 베라 루빈을 구축하는 기업은 대규모 전기 업그레이드를 계획해야 하는데, 단일 NVL576 랙은 일반 가정 400채의 전력 소비량과 맞먹는 전력을 소비하기 때문입니다. 2027년 구축을 계획 중인 데이터센터는 지금부터 유틸리티 규모의 전력 연결과 잠재적인 온사이트 발전을 포함한 인프라 업그레이드를 시작해야 합니다.
인트롤과 같은 인프라 전문 기업에게 이러한 변화는 전례 없는 기회를 창출합니다. 전 세계적으로 100,000개 이상의 GPU를 관리하며 하이퍼스케일 GPU 인프라를 구축한 인트롤의 전문성, 그리고 광범위한 아태지역 입지 베라 루빈이 요구하는 복잡한 배포를 완벽하게 지원할 수 있습니다.²³ 조직은 GPU 배포뿐 아니라 600kW 시스템에 필요한 전력, 냉각, 네트워킹의 복잡한 조합을 이해하는 파트너가 필요합니다.
성능 향상은 인프라 투자를 정당화합니다.
베라 루빈 NVL144 CPX 버전은 단일 랙에서 8 엑사플롭스의 NVFP4 컴퓨팅과 100TB의 고속 메모리 및 1.7 PB/s의 메모리 대역폭을 모두 제공하여 플랫폼의 잠재력을 보여줍니다.²⁴ NVIDIA는 기업들이 1억 달러의 자본 투자로 30배에서 50배의 투자 수익을 달성할 수 있으며 이는 50억 달러의 수익으로 환산된다고 주장합니다.²⁵
얼리 어답터로는 독일의 라이프니츠 슈퍼컴퓨팅 센터가 있으며, 이 센터는 현재 시스템보다 30배 더 강력한 컴퓨팅 성능을 달성하기 위해 블루 라이온 슈퍼컴퓨터에 Vera Rubin을 배포하고 있습니다.²⁶ 로렌스 버클리 국립연구소의 Doudna 시스템도 시뮬레이션, 데이터, AI를 단일 과학 컴퓨팅 플랫폼으로 결합하여 Vera Rubin에서 실행될 예정입니다.²⁷
컨텍스트 처리에 특화된 루빈 CPX는 현재 AI 시스템의 중요한 병목 현상을 해결합니다. 커서, 런웨이, 매직과 같은 기업들은 이미 CPX가 수백만 개의 토큰을 동시에 처리해야 하는 코딩 어시스턴트와 비디오 생성 애플리케이션을 가속화하는 방법을 모색하고 있습니다.²⁸ 전체 코드베이스 또는 몇 시간의 비디오를 활성 메모리에서 유지할 수 있는 능력은 AI 애플리케이션이 달성할 수 있는 것을 근본적으로 변화시킵니다.
인프라 문제는 시장 기회를 창출합니다.
600kW 랙으로의 도약은 현재의 데이터센터 용량에 대한 냉혹한 현실을 드러냅니다. 대부분의 시설은 40kW 랙으로도 어려움을 겪고 있으며, 최첨단 AI 데이터센터도 120kW를 초과하는 경우는 거의 없습니다. 이러한 전환에는 새로운 냉각 시스템뿐만 아니라 엄청난 하중을 지탱할 수 있는 콘크리트 바닥부터 산업 운영에 적합한 크기의 전기 변전소에 이르기까지 전체 시설의 재설계가 필요합니다.
더 레지스터는 "얼마나 많은 기존 데이터센터 시설이 이러한 고밀도 구성을 지원할 수 있을지는 여전히 의문"이라고 지적하며, 맞춤형으로 구축되는 카이버 랙의 특성상 시설에 전용 인프라가 필요하다고 강조합니다.²⁹ 재생 에너지 또는 원자력 잉여가 있는 지역(스칸디나비아, 퀘벡, UAE)의 그린필드 개발이 도입을 이끌 가능성이 높습니다.³⁰
이 타임라인은 업계에 숨통을 틔워주지만 즉각적인 조치를 요구합니다. 2027년 이후를 위해 AI 인프라를 계획하는 조직은 시설 위치, 전력 조달, 냉각 아키텍처에 대한 결정을 지금 내려야 합니다. 3년의 리드 타임은 물리적으로 가능한 것의 가장자리에서 작동하는 인프라 배포의 복잡성을 반영합니다.
베라 루빈 너머의 길
NVIDIA의 로드맵은 베라 루빈을 넘어 2028년 파인만 아키텍처까지 확장되어 1메가와트 랙을 향해 나아갈 것으로 보입니다.³¹ Vertiv의 CEO Giordano Albertazzi는 MW급 밀도를 달성하려면 "액체 냉각의 추가 혁신과 전력 측면의 패러다임 변화가 필요하다"고 말합니다.³² AI 워크로드는 컴퓨팅 밀도의 기하급수적 증가를 요구하고 경제성은 분산보다 집중을 선호하기 때문에 이 궤도는 피할 수 없어 보입니다.
GPU 인프라의 점진적 개선에서 혁명적인 변화로의 전환은 광범위한 AI 혁신을 반영합니다. 대규모 언어 모델이 수십억 개에서 수조 개의 매개변수로 급증한 것처럼, 이를 지원하는 인프라도 비슷한 도약을 이뤄야 합니다. 베라 루빈은 더 빨라진 GPU뿐만 아니라 컴퓨팅 인프라의 작동 방식에 대한 근본적인 재검토를 의미합니다.
GPU 인프라 배포를 전문으로 하는 Introl과 같은 기업에게 Vera Rubin은 세대를 뛰어넘는 기회를 창출합니다. 조직은 초기 계획부터 구현, 지속적인 최적화에 이르기까지 600kW 배포의 복잡성을 헤쳐나갈 수 있는 파트너가 필요합니다. 베라 루빈을 성공적으로 배포하는 기업은 AI 역량에서 상당한 경쟁 우위를 확보할 수 있는 반면, 주저하는 기업은 업계가 엑사스케일 AI를 향한 경쟁에서 뒤처질 위험이 있습니다.
결론
데이터센터 업계는 NVIDIA의 베라 루빈 플랫폼을 통해 전례 없는 컴퓨팅 성능을 제공하면서도 인프라의 한계에 대한 불편한 진실에 직면하게 되었습니다. 2027년의 600kW 랙은 단순히 더 높은 전력 소비를 넘어 AI 인프라의 구축, 냉각 및 운영 방식에 있어 완전한 변화를 의미합니다. 지금 계획을 세우고 차세대 구축의 복잡성을 이해하는 숙련된 인프라 전문가와 협력하는 조직은 베라 루빈이 구현하는 혁신적인 기능을 가장 잘 활용할 수 있는 위치에 서게 될 것입니다.
2026~2027년에 플랫폼이 출시되면 업계에 준비할 시간이 주어지지만, 시간이 촉박합니다. 오늘 설계된 데이터센터는 내일의 요구 사항을 예측해야 하며, 베라 루빈은 내일은 기존의 사고방식에서 급진적으로 벗어나야 한다는 점을 분명히 합니다. 이러한 변화를 수용하는 기업은 백만 개의 토큰 언어 모델부터 오늘날 공상 과학 소설처럼 보이는 실시간 비디오 생성 시스템에 이르기까지 차세대 AI 혁신의 원동력이 될 것입니다.
참조
¹ 더 레지스터. "엔비디아의 베라 루빈 CPU, GPU가 600kW 랙을 위한 차트 코스." March 19, 2025. https://www.theregister.com/2025/03/19/nvidia_charts_course_for_600kw.
² NVIDIA 뉴스룸. "NVIDIA, 대규모 컨텍스트 추론을 위해 설계된 새로운 클래스의 GPU인 Rubin CPX 공개." 2025. https://nvidianews.nvidia.com/news/nvidia-unveils-rubin-cpx-a-new-class-of-gpu-designed-for-massive-context-inference.
³ Ibid.
⁴ 데이터센터 역학. "GTC: 데이터센터 랙 밀도의 미래에 대한 Nvidia의 젠슨 황, 이안 벅, 찰리 보일의 이야기." 3월 21일, 2025. https://www.datacenterdynamics.com/en/analysis/nvidia-gtc-jensen-huang-data-center-rack-density/.
⁵ 테크파워업. "NVIDIA, 베라 CPU 및 루빈 울트라 AI GPU 공개, 파인만 아키텍처 발표." 2025. https://www.techpowerup.com/334334/nvidia-unveils-vera-cpu-and-rubin-ultra-ai-gpu-announces-feynman-architecture.
⁶ CNBC. "엔비디아, 블랙웰 울트라 및 베라 루빈 AI 칩 발표." March 18, 2025. https://www.cnbc.com/2025/03/18/nvidia-announces-blackwell-ultra-and-vera-rubin-ai-chips-.html.
⁷ 야후 파이낸스. "엔비디아, GTC 2025에서 차세대 베라 루빈 슈퍼칩 출시." March 18, 2025. https://finance.yahoo.com/news/nvidia-debuts-next-generation-vera-rubin-superchip-at-gtc-2025-184305222.html.
⁸ 차세대 플랫폼. "엔비디아, 2028년까지 GPU 시스템 로드맵을 그리다." June 5, 2025. https://www.nextplatform.com/2025/03/19/nvidia-draws-gpu-system-roadmap-out-to-2028/.
⁹ 세미 애널리시스. "NVIDIA GTC 2025 - 추론을 위한 빌드, 베라 루빈, 카이버, CPO, 다이너모 추론, 젠슨 수학, 파인만." 2025년 8월 4일. https://semianalysis.com/2025/03/19/nvidia-gtc-2025-built-for-reasoning-vera-rubin-kyber-cpo-dynamo-inference-jensen-math-feynman/.
¹⁰ NVIDIA 뉴스룸. "NVIDIA, 대규모 컨텍스트 추론을 위해 설계된 새로운 클래스의 GPU, 루빈 CPX 공개."
¹¹ Ibid.
¹² Tom's Hardware. "엔비디아, 2026년 루빈 GPU, 2027년 루빈 울트라 발표, 파인만도 로드맵에 추가." 2025년 3월 18일. https://www.tomshardware.com/pc-components/gpus/nvidia-announces-rubin-gpus-in-2026-rubin-ultra-in-2027-feynam-after.
¹³ 새로운 스택. "NVIDIA, 차세대 루빈 및 파인만 아키텍처를 공개하며 AI 성능의 한계를 뛰어넘다." April 14, 2025. https://thenewstack.io/nvidia-unveils-next-gen-rubin-and-feynman-architectures-pushing-ai-power-limits/.
¹⁴ NVIDIA 뉴스룸. "NVIDIA, 대규모 컨텍스트 추론을 위해 설계된 새로운 클래스의 GPU, 루빈 CPX 공개."
¹⁵ 데이터센터 역학. "2027년 하반기에 600kW가 될 것으로 예상되는 엔비디아의 루빈 울트라 NVL576 랙." 2025년 3월 18일. https://www.datacenterdynamics.com/en/news/nvidias-rubin-ultra-nvl576-rack-expected-to-be-600kw-coming-second-half-of-2027/.
¹⁶ Tom's Hardware. "2027년에 출시될 600,000와트 카이버 랙 및 인프라를 갖춘 루빈 울트라를 선보이는 Nvidia." 2025년 3월 19일. https://www.tomshardware.com/pc-components/gpus/nvidia-shows-off-rubin-ultra-with-600-000-watt-kyber-racks-and-infrastructure-coming-in-2027.
¹⁷ 데이터센터 역학. "GTC: 데이터센터 랙 밀도의 미래에 대한 Nvidia의 젠슨 황, 이안 벅, 찰리 보일의 이야기."
¹⁸ 데이터 센터 프론티어. "쿨잇과 엑셀시우스는 급증하는 랙 밀도 속에서 데이터 센터 액체 냉각의 한계를 뛰어넘습니다." 2025. https://www.datacenterfrontier.com/cooling/article/55281394/coolit-and-accelsius-push-data-center-liquid-cooling-limits-amid-soaring-rack-densities.
¹⁹ 데이터센터 역학. "GTC: 데이터센터 랙 밀도의 미래에 대한 Nvidia의 젠슨 황, 이안 벅, 찰리 보일의 이야기."
²⁰ NVIDIA 기술 블로그. "차세대 AI 공장의 원동력이 될 NVIDIA 800 VDC 아키텍처." May 20, 2025. https://developer.nvidia.com/blog/nvidia-800-v-hvdc-architecture-will-power-the-next-generation-of-ai-factories/.
²¹ Ibid.
²² Ibid.
²³ Introl. "적용 범위." 액세스 2025. https://introl.com/coverage-area.
²⁴ NVIDIA 뉴스룸. "NVIDIA, 대규모 컨텍스트 추론을 위해 설계된 새로운 클래스의 GPU, 루빈 CPX 공개."
²⁵ Ibid.
²⁶ NVIDIA 블로그. "블루 라이온 슈퍼컴퓨터가 NVIDIA 베라 루빈에서 실행됩니다." June 10, 2025. https://blogs.nvidia.com/blog/blue-lion-vera-rubin/.
²⁷ Ibid.
²⁸ NVIDIA 뉴스룸. "NVIDIA, 대규모 컨텍스트 추론을 위해 설계된 새로운 클래스의 GPU, 루빈 CPX 공개."
²⁹ 더 레지스터. "600kW 랙을 위한 엔비디아의 베라 루빈 CPU, GPU 차트 코스."
³⁰ 글로벌 데이터센터 허브. "엔비디아의 600kW 랙이 출시되었습니다(인프라가 준비되었습니까?)." 2025년 3월 23일. https://www.globaldatacenterhub.com/p/issue-8-nvidias-600kw-racks-are-hereis.
테크파워업. "NVIDIA, 베라 CPU 및 루빈 울트라 AI GPU 공개, 파인만 아키텍처 발표."
데이터센터 역학. "GTC: 데이터센터 랙 밀도의 미래에 대한 Nvidia의 젠슨 황, 이안 벅, 찰리 보일의 이야기."
