메타 라마2 공개, 비싼가요❓ 한국어 성능은요❓기업용 LLM 대격변
오늘 메타의 라마2가 공개되었습니다. 상업적으로 이용 가능해, 기업용 온프레미스 LLM 시장에 대격변이 일어날 것으로 예상됩니다. MS Azure와 공식 파트너십을 맺은 메타의 라마2, 가격은 어느 정도인지, 한국어 성능은 어떨지에 대한 내용도 담아보았습니다.
메타의 라마2가 7월 19일 상업적 이용이 가능한 오픈소스로 공개되었습니다.
기업 입장에서 라마2 공개가 가져올 비즈니스 임팩트에 대해 정리해 보겠습니다.
챗GPT, LLM 관련 핵심 요약은 지난 뉴스레터 보기에서 보실 수 있습니다.
알찬 AI 정보 계속 업데이트 하겠습니다. 주위에 올거나이즈 뉴스레터 구독 많이 소개해 주세요.
1. 상업적 이용 가능? 기업용 온프레미스 시장 대격변
메타버스에 AI 리소스를 집중하느라 생성 AI에 뒤쳐진 것처럼 보였던 메타가 올해 2월 24일 자체 거대 언어모델 라마(LLaMA)를 출시했습니다. 연구 목적으로 승인받은 사람에게만 제공하겠다고 밝혔는데, 며칠 만에 4chan에서 유출이 되었습니다. 곧 알파카(Alpaca) 등 라마의 변형 모델이 개발되고, 점점 경량화되는 등 다양한 개발 시도가 늘어났죠.
라마는 상업적 목적으로는 이용할 수 없었기 때문에 기업용 온프레미스(사내 구축형) AI 프로젝트에서는 사용하지 못했는데요. 현재 상업적 이용이 가능한 모델들의 성능이 GPT-4의 눈높이에 맞춰진 기업 고객을 만족시키지 못하고 있는 상황입니다.
오늘 공개된 라마2는 GPT-4만큼은 아니지만, 메타에 따르면 현존 오픈소스 LLM 중 최고 성능을 보이고 있다고 합니다.
Nvidia의 수석 AI 과학자인 Jim Fan은 "라마2의 70B는 추론 작업에서 GPT-3.5 수준에 가깝지만, 코딩 수준은 상당한 차이가 있다. 대부분의 벤치마크에서 PaLM-540B와 동등하거나 더 낫지만, GPT-4와 PaLM-2-L 보다는 낮은 수준"이라고 밝혔습니다.
라마2의 공개된 기술 사양과 주요 내용을 살펴보면 다음과 같습니다.
- 7B, 13B, 70B 모델 공개
- 3개 모델 학습을 위해 A100 그래픽 카드 331만 시간 사용, 이산화탄소 539톤 배출
- 라마1보다 40% 많은 데이터, 2조 개의 토큰으로 훈련
- 라마1보다 두 배 긴, 4,096개의 토큰 컨텍스트창(입력 가능)
- 월 7억명 활성 사용자(MAU)까지는 무료로 상업적 이용 가능
아마존 월간 사용자가 3억 1천만 명, 구글이 약 2억 5천만 명이기 때문에 대부분의 기업은 무료로 이용할 수 있을 것으로 보입니다. 사내 구축형 온프레미스 LLM의 성능을 고민하고 있던 기업에게는 괜찮은 선택지가 하나 더 늘어난 셈입니다.
2. 비싼 거 아닌가요? 한국어도 잘 되나요?
라마2는 현재 애저(Azure)의 AI 모델 카탈로그에서 바로 사용하실 수 있습니다. MS Azure와 공식 파트너십을 선언한 만큼, 윈도우(Windows)에서 로컬 실행도 최적화 되어있는데요. 윈도우 개발자는 ONNX Runtime을 통해 DirectML 실행 공급자를 대상으로 라마2를 사용할 수 있습니다. 물론 AWS, 허깅페이스 등 기타 공급자를 통해서도 이용할 수 있습니다.
라마2를 애저에서 이용할 때 비용은 어느 정도 될까요?
라마2 70B 모델의 경우 22~27달러로 가격이 엄청난 편입니다. 13B 모델도 낮은 사양이 12 달러 정도로 가격이 줄긴 하지만, 경량화가 적용되지 않은 모델이라 그런지 여전히 비쌉니다.
하지만 라마1의 경량화된 모델이 오픈소스 커뮤니티에서 속속 개발되었던 것을 보면, 라마2 또한 경량화 모델이 금세 나오지 않을까 싶습니다. 라마1은 랩탑 한 대에서 돌아갈 수준까지도 경량화된 모델이 나왔었죠.
애저 AI 스튜디오는 허깅페이스도 연결을 쉽게 해놨기 때문에, 라마2의 경량화 모델이 허깅페이스에 속속 등록된다면 방법은 더 쉬워집니다. 애저에서 경량화된 모델을 바로 불러다 기업용 프로젝트에 이용하는 미래도 머지 않은 것 같습니다.
라마2는 오픈 소스이지만, 메타는 라마2 모델 훈련 데이터 소스를 공개하지는 않았습니다. 메타는 라마2 연구 논문에서 학습 데이터의 89.7%가 영어라고 밝히며, 아직 다른 언어에 적합하지는 않을 수 있다고 밝혔습니다.
한국어는 0.06%에 불과하니 아직 한국어 추론 성능이 높지 않을 것으로 예상되는데요. 하지만 오픈 소스로 충분히 개별 파인 튜닝이 가능하기 때문에, 기업용 데이터로 학습하면서 멀티 언어에 대한 부분을 같이 해결한다면 결과는 또 달라질 수 있을 것 같습니다.
3. 당분간 오픈소스는 메타가 장악? MS의 큰 그림이 빛났다
지난 5월에 보내드린 뉴스레터에서 MS는 오픈AI에 목숨 걸지 않고 생태계 구축의 큰 그림을 그리고 있다고 전해드렸습니다.
사티아 나델라 CEO가 직접 '애저 AI 스튜디오'를 소개하면서 오픈소스 LLM 모델을 지원하는 것을 강조했는데요. 오픈AI 모델보다 오픈 소스 모델, 허깅페이스를 앞에 둔 UI가 인상적이었습니다.
개발자들이 LLM 모델을 편하게 갈아끼워서 쓸 수 있도록 지원하는 것이죠. 빠르게 변화하는 AI 기술 생태계에서 어떤 모델이 나오더라도 애저 클라우드 위에서 생태계를 만들어 가져가려는 MS의 큰 그림입니다. 라마2를 윈도우에서 실행하기 쉽게 최적화하는 것도 MS 생태계 확장의 일환이고요.
위에서 오픈 소스로 경량화 모델 개발이 가속될 것이라 말씀드렸는데요. 그렇게 되면 애저는 사용 비용이 줄어드는 것을 어떻게 방어할까요?
애저 AI 스튜디오는 폭력/혐오/성/자해 콘텐츠를 파악하는 필터를 제공해 사전에 테스트를 해볼 수도 있고, 콘텐츠 제출을 막을 수도 있게 했습니다. B2C 프로젝트라면 이런 부분이 특히나 더 중요하겠죠. 애저는 기업용 AI 프로젝트를 위한 여러 장치를 지속적으로 추가하고 있습니다.
오픈AI의 GPT, 메타의 라마2, 네이버의 하이퍼클로바 X 등 여러 LLM 중 필요한 것을 선택해서 우리 회사에서만 쓸 수 있는 앱을 만들고 싶을 때, 올거나이즈의 알리가 정답입니다.
단순한 챗GPT 적용 제품이 아니라, 기업이 쓸 수 있는 제대로 된 맞춤형 AI 모델이 필요하시면 올거나이즈에 문의 주세요.