구글 클라우드가 AI 추론 시대를 대비한 핵심 인프라를 고도화한다.

구글 클라우드는 AI에 최적화된 7세대 텐서처리장치(TPU) ‘아이언우드’ 및 ARM 기반 ‘악시온’ 가상 머신 프리뷰 버전을 출시한다고 7일 밝혔다.

이번 신제품은 대형 AI 모델 학습과 일반 연산 작업을 동시에 지원하는 클라우드 컴퓨팅 환경을 강화하는 것이 목표다.

먼저 아이언우드는 5세대 제품 대비 최대 10배, 6세대 대비 최대 4배 향상된 연산 성능을 갖춘 것으로 알려졌다.

구글은 해당 제품을 자사 AI 슈퍼컴퓨팅 시스템 ‘하이퍼컴퓨터’의 핵심 구성요소로 통합했으며, 칩·스토리지·소프트웨어가 결합된 형태로 운영 효율을 높이는 데 초점을 맞췄다고 밝혔다.

또 아이언우드는 최대 9216개의 칩으로 구성된 슈퍼포드로 확장할 수 있으며, 9.6Tb/s급 인터칩 네트워킹 기술을 적용해 대용량 AI 모델의 데이터 병목 현상을 줄이도록 설계됐다.

내부적으로는 광회로 스위칭(OCS) 기술을 적용해 네트워크 장애 발생 시에도 실시간 복구가 가능하도록 했다.

이어 새로운 ARM 네오버스 기반 CPU 제품군 ‘악시온’은 구글의 두 번째 범용 ARM VM으로, 동급 x86 VM 제품 대비 두 배 수준의 가격 대비 성능을 제공한다.

오픈소스와 마이크로서비스, 데이터 분석 등 범용 워크로드에 적합하도록 설계됐고, 안드로이드 개발이나 시뮬레이션, 차량용 시스템 등 물리 서버가 필요한 환경을 대상으로 하는 ‘C4A 메탈’ 버전도 예고했다.

구글 클라우드 관계자는 “하드웨어부터 소프트웨어까지 AI 추론 수요에 따라 긴밀히 통합된 환경을 제공하겠다”라고 말했다.

7세대 TPU '아이언우드' [구글 클라우드 제공]

한편 구글은 자체 개발한 AI용 처리장치, TPU를 전면에 내세워 새로운 AI 학습 기반을 조성하려 하고 있다.

TPU는 머신러닝과 딥러닝에서 반복적으로 수행되는 행렬 및 텐서 연산을 고속 병렬로 처리하기 위한 하드웨어로, 그 본질은 대규모 연산 효율화에 있다.

일반적인 CPU나 GPU가 범용 처리를 수행한다면, TPU는 벡터 및 행렬 연산에 최적화된 구조를 통해 신경망의 학습 및 추론 단계를 가속화한다.

특히 저정밀(저비트) 연산을 효율적으로 처리할 수 있어 전력 소모를 줄이면서도 처리량(throughput)을 극대화한다.

이를 통해 구글은 음성 검색, 번역, 추천 시스템 등 대규모 AI 서비스에서 빠른 응답성과 실시간 연산 성능을 확보할 수 있었다.

TPU는 구글 클라우드 플랫폼(GCP)을 통해 클러스터 단위로 제공되며, LLM 학습 과정에서 데이터 병렬 처리·텐서 병렬 처리·파이프라인 병렬 처리 같은 다중 병렬화 기술을 수행한다.

이러한 구조 덕분에 GPT, Gemini, PaLM 등 수천억 개의 파라미터를 가진 언어 모델을 학습할 때, TPU는 수만 개의 연산 유닛을 동시 가동해 반복 연산을 빠르게 수행한다.

구글이 이러한 TPU 인프라를 중심으로 구축한 AI 하이퍼컴퓨터는 통합형 슈퍼컴퓨팅 시스템으로, 하드웨어·소프트웨어·머신러닝 프레임워크를 유기적으로 결합한 형태다.

하이퍼컴퓨터는 실시간 모니터링, 상태 예측, 장애 노드 자동 복구 기능을 통해 안정적인 대규모 연산 환경을 유지하도록 허계됐다.

이에 앞으로 차세대 AI 언어 모델에서 하이퍼컴퓨터의 역할 및 성과에 관심이 모이는 분위기다.