➡24년 달라진 LLM 소비 트렌드-제품 GPT, 테스트 구글, 파인튜닝 라마2

앤드리슨 호로위츠에서 포춘 500대 기업 리더 등을 대상으로 한 설문조사에서 엔터프라이즈 기업들의 생성AI 사용, 구매, 예산 책정에 대한 변화를 살펴보겠습니다. 여전히 생성AI에 대해 일부는 의구심을 갖고 있지만 6개월만에 예산은 거의 3배로 늘었고, 오픈 소스를 선호하는 방향으로 전환하고 있습니다.

생성AI 관련 핵심 요약은 지난 뉴스레터 보기에서 보실 수 있습니다.
알찬 AI 정보 계속 업데이트 하겠습니다. 올거나이즈 뉴스레터 구독 많이 소개해 주세요. 

1. 생성AI 예산 지출: 23년 PoC → 24년 SW 구매

앤드리슨 호로위츠의 설문 조사 보고서 '기업의 생성AI 구축 및 구매 방식의 16가지 변화'에서 23년에는 기업들이 LLM 모델 API, 자체 호스팅, 파인 튜닝 모델 제작 등에 지출한 비용은 평균 700만 달러였다고 합니다. 24년에는 1,800만 달러로 2.5배가 늘어났는데요.

이렇게 늘어난 예산은 어떻게 쓰이고 있었을까요? 
23년은 대부분 "Innovation(혁신)"과 일회성 지출이 많았습니다. 24년에는 혁신 예산은 전체 1/4 미만으로 줄이고, 생성AI 소프트웨어 구매로 전환하고 있습니다. 

Innovation 예산은 일종의 PoC(개념 증명)처럼 우리 조직에 생성AI가 어떻게 도입되면 좋을지 알아보고, 여러 가지 실험을 해보는 것이었다면, 올해는 실질적으로 실무자들이 사용할 소프트웨어나 IT 인프라 등에 사용하는 것입니다. 또한 고객 서비스 분야에서는 인건비 절감을 위해 생성AI에 지출을 늘리는 사례가 늘고 있습니다. 한 회사는 생성AI 지출을 8배로 늘렸는데, LLM 기반 고객 서비스를 통해 통화당 최대 6달러를 절약해 90%의 비용을 절감했다고 합니다.

예산을 늘린 만큼 ROI 측정도 기업의 고민인데요. 설문에 응답한 기업들은 NPS(,Net Promoter Score, 순고객추천지수)와 고객 만족도를 기본적으로 사용하면서, 비용 절감, 수익 창출, 정확성 향상 등의 방법도 찾고 있습니다. 56%의 고객은 아직 정확한 측정 방법은 못 찾았지만, 업무 생산성 향상 및 효율성 증가 등 효과는 긍정적이라고 보고 있는데요. 현재까지는 비용 절감으로 ROI를 측정하는 곳이 1/3 정도 됩니다. 

2. 제품에는 오픈AI, 테스트에는 구글, 파인 튜닝은 라마2

여러분의 기업에서는 LLM을 몇 가지를 사용중인가요? 불과 6개월 전만 해도 대부분의 기업들이 1개 모델(주로 오픈AI)이나 2개를 사용했는데, 이번 설문조사에서는 3개(36%), 4개(28%), 5개 이상(29%)을 활용하는 것으로 바뀌었습니다.

아직은 오픈 소스 성능이 오픈AI GPT-4 만큼 높지는 않아서, 실제 엔터프라이즈의 제품에 사용되는 비중은 오픈AI가 높습니다. 아래 그래프를 보시면 테스트 단계에서는 구글의 제미나이 모델을 사용하는 경우가 많네요. 오픈 소스 모델인 라마도 테스팅 단계에서 많이 활용되고 있는 것을 보실 수 있습니다. 

왜 이렇게 기업이 활용 중인 LLM의 숫자가 늘어났을까요? 빅테크들의 모델이 많아지기도 했지만, 기업들의 오픈 소스 모델 선호도가 높아졌기(46%) 때문입니다. 성능/규모/비용을 기준으로 기업별로 최적화 방안을 찾고 있고, 빠르게 변화하는 LLM의 기술 트렌드를 빠르게 활용하고 싶은 이유도 있습니다. 최상의 결과를 얻기 위해 현재의 최첨단 모델과 오픈 소스 모델을 통합해 사용하고 싶어하고요.

6개월 전에는 LLM 시장 점유율 80~90%가 폐쇄형 모델이었고 오픈AI가 대부분을 차지했습니다. 올해는 오픈 소스 사용과 오픈 소스 모델 기반 파인 튜닝에 기업 리더의 60%가 관심이 있다고 하네요. 폐쇄형 대 오픈 소스 모델을 80/20으로 사용하다가, 24년은 50/50으로 가는 목표를 세운 기업도 있습니다.

기업들이 오픈 소스 모델을 채택하는 이유는 비용보다도 컨트롤과 맞춤화가 컸습니다.
기업 고유 데이터의 보안을 통제할 수 있고, 기업 특성에 맞게 효과적으로 파인튜닝할 수 있기 때문이죠. 
기업은 여전히 ​​규제나 데이터 보안 문제로 인해 폐쇄형 모델 제공업체와 독점 데이터를 공유하는 것을 꺼려합니다. IP가 비즈니스 모델의 핵심인 기업은 특히 보수적이죠. 

23년에는 블룸버그GPT와 같은 커스텀 모델이 등장하면서 기업들의 자체 LLM 구축 논의가 있었는데요. 올해는 고품질의 오픈 소스 모델들이 많아지면서 이를 파인튜닝(72%)하거나 RAG(검색증강생성)하는 것을 선택하고 있습니다. 파인튜닝하는 수요가 계속 늘어날 것으로 보이는군요.

생성형 AI 환각 줄이는 기업용 RAG, 표+이미지까지 찾아야 게임체인저 (2)

생성형 AI의 환각을 줄이는 대안으로 RAG(검색증강생성) 기술이 부각되고 있지만, 복잡한 표와 차트, 이미지까지 해석해내는 RAG는 많지 않습니다. 기업용 RAG의 필요성과 올거나이즈의 기업용 RAG 방법론, 성능 향상을 위한 전략을 공유합니다.

올거나이즈, 기업 생산성을 혁신하는 LLM EnablerAllganize Korea

3. 생성AI 실무 사용: 내부용 OK! 외부는 글쎄...

기업 내 생성AI 사용 사례를 아래 그래프에서 보시면 텍스트 요약, 기업 내 지식 관리에 60% 이상 사용 중입니다. 외부 서비스로 챗봇과 추천 알고리즘 사용은 40% 미만으로 선호도가 낮은 편이죠.

생성AI를 기업에서 사용할 때 두 가지 우려 사항이 여전히 남아 있기 때문입니다.
1) 환각 및 보안
2) 고객의 민감 정보(의료 및 금융)

환각은 RAG로 보완하고, 보안 문제는 파인튜닝 모델을 온프레미스로 구축하는 등의 방법을 찾고 있지만, 직접 고객이 사용하는 서비스에 생성AI를 도입하는 경우는 많지 않습니다. 내부 직원들의 업무 생산성 향상에 도입하는 사례가 많은데요. 지금까지 가장 많이 등장하는 사용 사례도 고객 지원을 위한 어시스트, 마케팅 카피 작성, 코딩 코파일럿 등입니다.

23년이 생성AI를 테스트하는 해였다면, 올해는 생성AI의 현실화 단계라고 볼 수 있는데요.
올거나이즈는 B2B AI 전문 기업으로 오픈 소스 모델 기반의 파인 튜닝으로 산업 특화 모델도 만들고 있고, RAG를 통해 생성AI를 기업에서 제대로 활용할 수 있도록 돕는 기술도 뛰어납니다.

B2B AI 솔루션은 업무 현장에서 LLM을 복합적으로 결합해 문제를 해결하고, 정교하고 정확한 결과물을 만들기 위한 방향으로 진화하고 있는데요. 
기업 내 문서의 복잡한 표에서 답을 잘 찾는 기술은 올거나이즈가 오픈AI의 리트리버보다 더 잘하고 있는 영역입니다.

다양한 LLM을 우리 회사 업무에 맞게 선택해서 사용할 수 있고, 100여 개의 업무 자동화 툴을 한번에 바로 사용할 수 있는 올거나이즈의 알리 LLM 앱 마켓도 풀스택 AI 툴을 향해 진화하고 있습니다.

AI 네이티브 워크플로 툴이 궁금하시다면, 올거나이즈에 문의하세요!