AI

A collection of 54 posts
성공적인 RAG를 위한 리트리버 최적화 전략
AI

성공적인 RAG를 위한 리트리버 최적화 전략

LLM의 환각을 줄이는 RAG에 대한 관심이 높아지면서, 어떤 RAG 솔루션을 사용해야 답의 후보군을 잘 찾고 답을 생성할 수 있을지에 대한 고민도 커지고 있습니다. 올거나이즈 RAG팀에서 고성능의 리트리버 최적화를 위한 전략을 공유합니다. 키워드 검색과 의미기반 검색을 모두 사용하는 하이브리드 검색, 사례별 최적화 대응 방법을 자세히 설명 드립니다.
12 min read
💰2024 AI 인덱스 리포트 핵심 요약, 테크 기업 다음은 금융이다!
AI

💰2024 AI 인덱스 리포트 핵심 요약, 테크 기업 다음은 금융이다!

스탠퍼드 대학교 HAI에서 발간한 AI 인덱스 리포트가 공개되었습니다. 오픈AI의 GPT-4 학습 비용 약 1083억원, 구글의 제미나이 울트라(Gemini Ultra) 학습비용 약 2643억원 등 AI 모델 제작에 엄청난 비용이 소모되는 가운데, 기업에 미칠 경제적 영향력이 점점 더 중요해지고 있는데요. 생성AI로 생산성이 증가될 산업은 하이테크 다음으로 금융권인 것으로 나타났습니다. 502쪽 보고서 중 경제 챕터를 요약해 봤습니다.
9 min read
➡24년 달라진 LLM 소비 트렌드-제품 GPT, 테스트 구글, 파인튜닝 라마2
AI

➡24년 달라진 LLM 소비 트렌드-제품 GPT, 테스트 구글, 파인튜닝 라마2

여러분은 LLM 모델을 몇 개 사용하고 계신가요? 포춘 500대 기업 등에서 오픈AI만 썼던 작년과 달리, 올해는 3개 이상의 LLM 모델을 사용중입니다. 실제 프로덕션에는 여전히 오픈AI GPT가 많이 쓰이지만, 테스트 단계에서는 오픈AI보다 구글의 제미나이 모델을 더 많이 쓰고 있는데요. 기업들이 오픈 소스 모델에 대한 선호도가 높아지고 있는 것도 주목할만 합니다. 파인튜닝과 RAG가 점점 더 중요해지고 있습니다.
9 min read
한국어 실무 특화 '알파-인스트럭트' LLM 오픈소스 출시
AI

한국어 실무 특화 '알파-인스트럭트' LLM 오픈소스 출시

올거나이즈는 한국어 실무에 강한 알파-인스트럭트 LLM을 오픈소스로 출시했습니다. 라마3(Llama3) 기반의 8B 모델로 한국어 이해도가 높아 문서 생성 및 요약 등의 실무에 특화돼 있습니다. Logickor 리더보드에서 높은 점수를 기록중입니다. 알파-인스트럭트 모델에 대한 소개와 오픈소스로 공개한 이유, 제작 방식 등에 대해 자세히 설명합니다.
6 min read
RAG 리더보드 공개-금융, 공공, 의료, 법률, 커머스 한국어 RAG 성능 평가
AI

RAG 리더보드 공개-금융, 공공, 의료, 법률, 커머스 한국어 RAG 성능 평가

올거나이즈가 RAG 리더보드를 공개했습니다. 금융, 공공, 의료, 법률, 커머스의 한국어 RAG 성능을 평가하실 수 있습니다. 테스트 데이터 셋까지 모두 공개해 누구나 사용 가능합니다. 기업을 위한 RAG는 복잡한 표와 이미지에서도 답을 잘 찾을 수 있어야 합니다. 업종별 특징과 실무 문서 스타일을 반영한 RAG들을 비교해 보실 수 있습니다.
7 min read
[금융 LLM 시리즈 5] 금융 AI 모델 학습 파이프라인 및 Llama3 이후 전략
AI

[금융 LLM 시리즈 5] 금융 AI 모델 학습 파이프라인 및 Llama3 이후 전략

금융 LLM 시리즈 5편, 금융 모델 제작 후, 새로운 오픈소스 모델이 나오더라도 학습과 평가에 엔지니어의 시간이 많이 들어가지 않도록 학습 파이프라인을 자동화해야 합니다. 메타의 Llama 3 공개 이후 모델 기대체와 평가 데이터도 바뀌어야 하는 상황이 왔습니다. 올거나이즈 AI팀의 고민과 진행과정을 공유합니다.
4 min read
[금융 LLM 시리즈 4] 금융 전문 AI 모델 선정과 학습 방법
AI

[금융 LLM 시리즈 4] 금융 전문 AI 모델 선정과 학습 방법

금융 전문 AI 모델을 어떻게 학습해야 할까요? 일단 좋은 퀄리티의 금융 데이터도 확보해야 하지만, 파인 튜닝 전 파운데이션 모델도 잘 선택해야 합니다. 올거나이즈는 EEVE 모델을 선택해 QLoRA, Neftune, DPO 방법을 사용해 학습을 진행해 봤습니다. 금융 LLM 시리즈 4편, 금융 전문 AI 학습 방법에서 올거나이즈 AI팀의 고민과 진행과정을 공유합니다.
10 min read
[금융 LLM 시리즈 3] 금융 전문 AI를 위한 평가 전략
AI

[금융 LLM 시리즈 3] 금융 전문 AI를 위한 평가 전략

금융 전문 LLM의 성능은 어떻게 평가해야 할까요? 금융과 금융 문서를 이해하고, 복잡한 추론과 수식에 강해야 하는 LLM을 제대로 비교하고 평가하기 위해서는 정량평가와 정성평가가 모두 필요합니다. 금융 LLM 시리즈 3편, 금융 전문 AI를 위한 평가 전략에서 올거나이즈 AI팀의 고민과 진행과정을 공유합니다.
19 min read
[금융 LLM 시리즈 2] 금융 데이터 셋 구축 전략과 학습 예시 공개
AI

[금융 LLM 시리즈 2] 금융 데이터 셋 구축 전략과 학습 예시 공개

금융 AI 모델을 경량화하려면 특화된 데이터셋으로 학습시켜야 합니다. 올거나이즈의 금융 데이터 셋 구축 전략과 학습 예시를 공개합니다. 금융 LLM 시리즈는 온프렘 구축이 가능한 오픈소스 모델 중에서 성능 좋은 금융 AI 모델을 만들기 위한 올거나이즈 AI 팀의 고민과 진행 과정을 공유하고 있습니다.
19 min read
[금융 LLM 시리즈 1] 성능 좋은 금융 AI 모델의 정의와 평가 방법
AI

[금융 LLM 시리즈 1] 성능 좋은 금융 AI 모델의 정의와 평가 방법

오픈AI의 GPT-4나 앤트로픽의 클로드3는 성능이 뛰어나지만, 망분리 규제를 받는 금융권에서는 사용이 어려운 측면이 있습니다. 온프렘 구축이 가능한 오픈소스 모델 중에서 성능 좋은 금융 AI 모델을 만들기 위한 올거나이즈 AI 팀의 고민과 진행 과정을 공유합니다. 금융 전문 LLM의 정의와 이를 평가하기 위한 방법론에 대해 올거나이즈 신기빈 CAIO가 방향을 제시합니다.
18 min read
[올거나이즈] 금융 전문 LLM 리더보드 및 테스트 데이터 셋 공개
AI

[올거나이즈] 금융 전문 LLM 리더보드 및 테스트 데이터 셋 공개

올거나이즈가 금융 전문 LLM 리더보드와 테스트 데이터셋을 공개했습니다. 이를 통해 금융권 고객들이 자신의 업무에 적합한 LLM 모델을 효율적으로 평가할 수 있게 되었습니다. 금융 LLM 리더보드는 금융 용어와 복잡한 추론에 특화된 한국어 LLM의 성능을 평가하며, 테스트 데이터셋은 금융 문서 이해, 수식 계산, 표/차트 분석 등에 특화되어 있습니다. 금융 기업들이 LLM 도입 시 효율적인 성능 평가를 수행할 수 있을 것으로 기대됩니다.
7 min read
[세미나] 금융권 AI 도입의 핵심 전략과 구축 사례(MS, SKT)
AI

[세미나] 금융권 AI 도입의 핵심 전략과 구축 사례(MS, SKT)

기업용 생성형 AI의 강자 마이크로소프트, SK텔레콤과 올거나이즈가 금융권 AI 도입 실무자 및 임직원을 위한 실제 사례를 발표합니다. 생성형 AI 기술 트렌드 및 금융 분야 적용 전략, 금융권 생성형 AI 프로젝트 성공을 위한 핵심 전략, 생성형 AI 금융권 적용 사례 및 고려 사항을 들으실 수 있습니다.
3 min read
✏️"AI 네이티브 워크플로"가 뜬다! 잘나가는 AI 툴은 풀스택이라고?
AI

✏️"AI 네이티브 워크플로"가 뜬다! 잘나가는 AI 툴은 풀스택이라고?

23년이 LLM의 실험이었다면, 24년은 본격적으로 AI가 업무의 생산성을 혁신하는 사례가 늘고 있습니다. 그래서 AI 네이티브 워크플로 개념이 부상하고 있는데요. 창의성/업무전문성 영역에서 AI 네이티브 워크플로는 어떤 제품들이 등장하고 진화하고 있으며, 주요 시장 플레이어는 어느 곳인지 살펴보겠습니다.
9 min read
🎁생성AI+쇼핑 최신 사례, 아마존 루퍼스부터 엣시, 쇼피파이까지 총정리
AI

🎁생성AI+쇼핑 최신 사례, 아마존 루퍼스부터 엣시, 쇼피파이까지 총정리

LLM이 쇼핑과 결합된 2024년의 최신 사례를 소개합니다. 2월 들어 출시된 기능들이 많은데요. 아마존의 루퍼스, 엣시의 선물 모드, 쇼피파이의 사이드킥 등 LLM으로 할 수 있는 쇼핑 경험 향상에 대한 고민이 치열합니다. 모델 트레이닝이 따로 필요 없는 올거나이즈의 추천 LLM도 같이 소개합니다.
9 min read
올거나이즈, SOC2 및 HIPAA 인증 획득
AI

올거나이즈, SOC2 및 HIPAA 인증 획득

올거나이즈가 글로벌 수준의 철저한 보안 운영을 입증하는 미국 SOC 2 Type II 인증 및 HIPAA 인증을 받았습니다. SOC 2 인증은 올거나이즈가 개인 정보 보호에 대한 업계의 인정된 기준을 충족하고 있음을 의미합니다. HIPAA 인증은 올거나이즈가 미국의 건강보험 이동성 및 책임에 관한 법률(HIPAA)의 엄격한 규정을 준수하는 기업이라는 것을 의미합니다.
5 min read
샘 올트먼+SK하이닉스, 마크 저커버그+엔비디아. AI 반도체 전쟁 승자는?
AI

샘 올트먼+SK하이닉스, 마크 저커버그+엔비디아. AI 반도체 전쟁 승자는?

오픈AI 샘 올트먼이 6시간 동안 한국에 와서 할 일은? 삼성전자와 SK하이닉스를 방문합니다. 엔비디아를 벗어나 자체 AI칩의 개발과 생산을 모색하는 것이죠. 메타의 마크 저커버그는 올해 말까지 엔비디아의 H100을 35만장, 12조원 어치를 구매할 예정입니다. 엔비디아는 사상 최고가 600달러 돌파를 앞두고 있습니다. 아마존과 구글도 자체 AI칩을 개발중인데요. AI 반도체 전쟁에서 엔비디아, 오픈AI, 메타 등 글로벌 빅테크의 행보를 살펴보겠습니다.
9 min read
[CES 2024 특별판] 생성AI 주도권을 제대로 가져간 폭스바겐+월마트 사례
AI

[CES 2024 특별판] 생성AI 주도권을 제대로 가져간 폭스바겐+월마트 사례

CES 2024에서는 모든 부스에서 AI가 보인다고 해도 과언이 아닙니다. 폭스바겐은 올해 전 차량에 챗GPT를 기본 탑재한다고 했고, 월마트는 쇼핑의 경험을 생성AI로 혁신하고 있습니다. 아마존은 알렉사에 생성AI 기능을 지속 업데이트하고 있습니다. 모빌리티, 커머스, 음성AI까지 생성AI가 다양한 디바이스에 탑재되는 것을 보실 수 있는데요. CES 2024에서 보는 생성AI의 생생한 사례를 정리해 보았습니다.
10 min read
KB·신한·하나·우리금융, 신년사에 ‘AI’ 키워드, 올해 전략은?
AI

KB·신한·하나·우리금융, 신년사에 ‘AI’ 키워드, 올해 전략은?

올해 금융권 신년사 키워드는 단연 'AI'입니다. 정부도 금융업에서 AI 활용을 독려하고 있는데요. AI 내재화와 고도화를 통해 리스크 관리와 내부통제 수준을 높일 수 있을 뿐만 아니라 중장기적으로 영업비용을 줄일 수 있습니다. 24년 금융+AI 인사이트를 위한 보고서를 요약 정리해봤습니다.
9 min read