글로벌 오픈소스 기업 레드햇이 구글클라우드와 손잡고 AI 맞춤형 인프라를 구축한다.

레드햇은 구글의 개방형 모델 제품 ‘젬마(Gemma)’를 자사의 오픈소스 기술과 결합하는 내용의 협력을 체결했다고 30일 밝혔다.

구체적인 협력 분야는 5가지로, 먼저 구글이 창립 기여자로 참여하는 오픈소스 프로그램 ‘LLM-D’를 런칭한다.

이어 구글 클라우드 TPU 및 GPU 기반 가상머신(VM)에서 vLLM 지원을 통해 AI 추론 성능을 강화하며, ‘젬마 3’ 모델 배포판에서 vLLM 서비스를 제공할 계획이다.

글로벌 오픈소스 솔루션 기업 '레드햇' [레드햇 제공]

끝으로 구글 클라우드상에서 레드햇 AI 인퍼런스 서버를 지원하게 되며, 레드햇이 구글 A2A 프로토콜에 참여해 AI 활성화를 지원할 방침이다.

향후 레드햇은 구글의 개방형 모델 젬마의 초기 테스터로 참여해 vLLM 고도화를 지원한다고 밝혔다.

vLLM은 생성형 AI 애플리케이션의 출력 속도를 높이는 오픈소스 추론 서버다.

구글 클라우드는 이번 협력을 통해 빠르고 정확한 추론에 필수적인 성능과 효율성을 달성하면서 리소스를 최대화할 수 있을 것으로 기대했다.

레드햇 관계자는 “이번 협력 확대를 통해 획기적인 AI 혁신을 주도하고, 개발자에게 최적화된 추론 기능을 제공할 수 있을 것”이라고 말했다.

구글 클라우드 관계자는 “레드햇과의 협력 확대는 개방형 혁신과 AI 잠재력 강화를 촉진할 것으로 기대한다”라고 말했다.