카카오가 AI 기반 언어모델 2종을 공개하며 LLM 생태계 구축에 나선다.

카카오는 글로벌 AI 오픈소스 플랫폼 ‘허깅페이스’를 통해 경량 멀티모달 언어모델 ‘카나나 1.5-v-3b’와 MoE 언어모델 ‘카나나 1.5-15.7b-a3b’를 공개했다고 24일 밝혔다.

이는 지난 5월 자체 언어모델 ‘카나나 1.5’ 4종 공개 이후 두 달 만의 추가 공개다.

먼저 ‘카나나 1.5-v-3b’는 카나나 1.5를 기반으로 한 멀티모달 언어모델로, 텍스트뿐 아니라 이미지 입력에도 자연어로 응답할 수 있다.

특히 경량 모델임에도 한국어와 영어 이미지 이해 능력을 특화해 국내외 벤치마크에서 유사 사이즈 모델 중 최고 성능을 기록했다는 설명이다.

카카오는 언어모델 개발에 ‘인간 선호 반영 학습’과 ‘지식 증류’ 기술을 활용했으며, 이를 활용해 대형 모델과 비교해 정답뿐 아니라 예측 확률 분포까지 비슷하다고 밝혔다.

인간 선호 반영 학습은 사람이 좋아할 만한 답을 도출하는 기술로, 단순 정답 계산을 넘어 상대방이 원하는 응답 스타일·안전성·맥락 적합성에 맞는 답을 제공하도록 훈련한다.

또 지식 증류의 경우 LLM을 소형화하기 위해 사용하는 방법이며, 소형 모델이 대형 모델의 출력값뿐만 아니라 출력 분포 전체를 학습해 사고방식 전체를 단시간 내에 이식하는 효과가 있다.

카카오의 AI 언어모델 브랜드 '카나나' [카카오 제공]

해당 모델은 이미지·문자 인식, 관광지 및 문화유산 인식, 도표 이해, 수학 문제 풀이 등 다양한 분야에 적용될 수 있다.

이어 ‘카나나 1.5-15.7b-a3b’는 입력 데이터 처리 시 일부 전문가 모델만 활성화되는 MoE 방식으로, 기존 밀집 모델 대비 컴퓨팅 자원을 절약하도록 설계됐다.

구체적으로는 전체 157억 개 파라미터 중 추론 시에는 약 30억 개의 파라미터만 사용하고, 성능은 80억 개 파라미터를 사용하는 모델과 비슷한 값을 도출한다.

특히 업사이클링(Upcycling) 방식을 적용해 기존 3B 모델을 다층 전문가 레이어로 확장해 학습 비용과 시간을 절감했다.

카카오는 이번 오픈소스 공개가 고성능 AI 인프라를 저비용으로 구축하려는 기업과 연구자들에게 실질적 도움을 줄 수 있을 것으로 기대했다.

카카오 관계자는 “자체 기술 기반의 모델 고도화와 초거대 모델 개발을 통해 국내 AI 생태계 자립과 글로벌 경쟁력 강화에 기여하겠다”라고 말했다.

또 “새로운 경량 모델은 비용 효율성과 성능이라는 두 가지 목표를 동시에 달성했다는 점에서 의미 있는 성과”라고 강조했다.