생성형 AI DeepSeek-R1의 등장, 그럼에도 우리가 놓치지 말아야 하는 것 - Part 2 * 최근 우리를 놀라게 한 DeepSeek-R1에 대해 2개의 블로그 글로 설명해드립니다. * 이번 Part 2에서는 DeepSeek-R1이 가져온 패러다임의 변화에 대한 내용을 담았습니다. 먼저 업로드한 Part 1에서는 DeepSeek-R1의 등장배경과 모델에 대한 기술적 내용을 자세히 알려드렸습니다. 긴 글이지만 2개 글 모두를 읽어보실 것을 추천드립니다. * 이 글은 올거나이즈 RAG팀의 조한준 엔지니어님이 작성하셨습니다. 3. 추론 중심
생성형 AI DeepSeek-R1의 등장, 그럼에도 우리가 놓치지 말아야 하는 것 - Part 1 * 최근 우리를 놀라게 한 DeepSeek-R1에 대해 2개의 블로그 글로 설명해드립니다. * 이번 Part 1에서는 DeepSeek-R1의 등장배경과 모델에 대한 기술적 내용을 담았습니다. 이어지는 Part 2에서는 DeepSeek-R1이 가져온 패러다임의 변화에 대해 설명드릴 예정입니다. 긴 글이지만 2개 글 모두를 읽어보실 것을 추천드립니다. * 이 글은 올거나이즈 RAG팀의 조한준 엔지니어님이 작성하셨습니다. 1. AI 사전학습의 한계: 데이터
생성형 AI Allganize의 새로운 LLM 평가 플랫폼으로 DeepSeek-V3를 평가해 봤습니다. DeepSeek-V3에 대한 Agent 벤치마크 평가 결과 최근 6700억 개의 파라미터를 가진 DeepSeek-V3가 오픈소스로 공개되었습니다. DeepSeek-V3는 ChatGPT나 Gemini처럼 텍스트를 이해하고 생성하는 데 뛰어난 능력을 가진 LLM이지만, 기존 모델과는 몇 가지 중요한 차이점을 가지고 있습니다. 이 모델의 핵심 목표는 높은 성능을 유지하면서도 학습 비용을 크게 절감하는 것입니다. DeepSeek-V3는 주요 기술적 혁신을 통해
생성형 AI 실시간 서비스를 위한 Cross-Encoder 경량화 시도와 엔지니어링을 통한 최적화 * 실시간 서비스를 위한 Cross-Encoder 경량화 시도에 대해 올거나이즈 RAG팀의 조한준 엔지니어님이 설명해 드립니다. 1. 서론: Cross-Encoder와 실시간 검색 시스템의 과제 1.1 배경 Reranking은 검색 시스템에서 검색 결과의 품질을 결정짓는 핵심 과정으로, 최종 사용자 경험에 큰 영향을 미칩니다. 이 중에서도 Cross-Encoder는 쿼리와 문서 간의 상호작용을 정교하게 모델링하여, 기존 검색 모델(
AI RAG의 오래된 숙제 - 동의어(Synonym) 1. Problem 정보 검색(IR)과 자연어 처리(NLP) 분야에서 동의어 문제는 오랜 기간 해결해야 할 과제로 여겨져 왔습니다. 특히, 의료, 법률, 기술, 금융 같은 전문 분야에서는 동일한 개념이 다양한 표현으로 사용됩니다. 이를 정확하게 매칭하지 않으면 중요한 정보를 놓칠 수 있습니다. 예를 들어, 의료 분야에서 "전자의무기록"과 "
AI 문맥을 이해하고 추론하다: Reranker를 통한 AI 기반 검색 혁신 생성형 AI의 환각을 줄이고 보다 정확한 답변을 제공하기 위해서는 RAG의 성능이 무엇보다 중요합니다. 이때 문서에서 가장 정확한 내용을 '검색(Retrieval)'하기 위해 다양한 기술적 발전이 있었습니다. 그 중에서도 올거나이즈의 Alli는 정밀도를 유지하면서도 보다 효율적인 Raranking 전략을 도입하였습니다. 문맥을 이해하고 추론하는 Reranker에 대해 올거나이즈 RAG팀의 조한준님과 이정훈 팀장님이 설명해
AI 하락세 엔비디아, 내년에 사야할 AI 기업💎보석함은? AI 기업 중에 엔비디아 말고, 이제 어떤 주식을 사야 할까요? AI/ML 기업의 24년 성과를 살펴보겠습니다. ROI를 달성한 기업, 기존 제품에 생성AI를 성공적으로 도입한 기업의 주가가 눈에 띄게 상승하고 있습니다.
AI 생성형 AI 환각 해결 전략 - 하이라이트 구현 생성형 AI의 환각을 줄이기 위해 답의 근거가 되는 출처를 표기하는 서비스가 늘고 있습니다. 하지만 문서가 길고 복잡하면 출처 표기만으로는 근거를 제대로 찾기 어려운데요. 올거나이즈의 Alli는 근거를 하이라이트해서 표시해주고 있습니다. 하이라이트 기능이 필요한 이유와 구현 방법을 올거나이즈 이정훈 RAG 팀장이 설명해 드립니다.
AI LLM 성능 평가 자동화, 2시간⮕10분 단축 노하우 쏟아지는 LLM, 성능 평가 어떻게 하고 계세요? 올거나이즈는 자동 성능 평가를 통해 2시간 걸리던 검증을 10분으로 단축했습니다. LLM 성능 평가 개념과 필요성, LLM Eval, 오차율을 낮추는 방법까지 올거나이즈의 노하우를 공개합니다.
AI 애플 WWDC24 3분 요약, 3B 모델로 이게 되네? WWDC24에서 발표한 애플 인텔리전스 보셨나요? 시리가 생성형 AI와 만나 이메일부터 이미지 생성까지 여러 작업을 하고 있는데요. 이 모든 것이 고작 3B 모델로 가능했다고 합니다. 애플 인텔리전스에 적용된 LLM의 기술적인 측면을 짧고 굵게 요약했습니다.
AI 성공적인 RAG를 위한 리트리버 최적화 전략 LLM의 환각을 줄이는 RAG에 대한 관심이 높아지면서, 어떤 RAG 솔루션을 사용해야 답의 후보군을 잘 찾고 답을 생성할 수 있을지에 대한 고민도 커지고 있습니다. 올거나이즈 RAG팀에서 고성능의 리트리버 최적화를 위한 전략을 공유합니다. 키워드 검색과 의미기반 검색을 모두 사용하는 하이브리드 검색, 사례별 최적화 대응 방법을 자세히 설명 드립니다.
AI JP모건, 모건스탠리는 GPT-4를 OOO에 쓴다? - 최신 글로벌 금융 AI 사례 JP모건과 모건스탠리는 GPT-4로 무엇을 하고 있을까요? 1만 6천 명의 애널리스트가 사용할 사내 지식 어시스턴트와 생성형 AI 기반 파생 상품을 빠르게 만들어 투자자를 매혹하고 있는데요. 24년 최신 글로벌 금융권 생성형 AI 적용 사례 및 B2B AI 기술 트렌드에 대해서 담아 봤습니다.
AI 💰2024 AI 인덱스 리포트 핵심 요약, 테크 기업 다음은 금융이다! 스탠퍼드 대학교 HAI에서 발간한 AI 인덱스 리포트가 공개되었습니다. 오픈AI의 GPT-4 학습 비용 약 1083억원, 구글의 제미나이 울트라(Gemini Ultra) 학습비용 약 2643억원 등 AI 모델 제작에 엄청난 비용이 소모되는 가운데, 기업에 미칠 경제적 영향력이 점점 더 중요해지고 있는데요. 생성AI로 생산성이 증가될 산업은 하이테크 다음으로 금융권인 것으로 나타났습니다. 502쪽 보고서 중 경제 챕터를 요약해 봤습니다.
AI ➡24년 달라진 LLM 소비 트렌드-제품 GPT, 테스트 구글, 파인튜닝 라마2 여러분은 LLM 모델을 몇 개 사용하고 계신가요? 포춘 500대 기업 등에서 오픈AI만 썼던 작년과 달리, 올해는 3개 이상의 LLM 모델을 사용중입니다. 실제 프로덕션에는 여전히 오픈AI GPT가 많이 쓰이지만, 테스트 단계에서는 오픈AI보다 구글의 제미나이 모델을 더 많이 쓰고 있는데요. 기업들이 오픈 소스 모델에 대한 선호도가 높아지고 있는 것도 주목할만 합니다. 파인튜닝과 RAG가 점점 더 중요해지고 있습니다.
AI 한국어 실무 특화 '알파-인스트럭트' LLM 오픈소스 출시 올거나이즈는 한국어 실무에 강한 알파-인스트럭트 LLM을 오픈소스로 출시했습니다. 라마3(Llama3) 기반의 8B 모델로 한국어 이해도가 높아 문서 생성 및 요약 등의 실무에 특화돼 있습니다. Logickor 리더보드에서 높은 점수를 기록중입니다. 알파-인스트럭트 모델에 대한 소개와 오픈소스로 공개한 이유, 제작 방식 등에 대해 자세히 설명합니다.
AI RAG 리더보드 공개-금융, 공공, 의료, 법률, 커머스 한국어 RAG 성능 평가 올거나이즈가 RAG 리더보드를 공개했습니다. 금융, 공공, 의료, 법률, 커머스의 한국어 RAG 성능을 평가하실 수 있습니다. 테스트 데이터 셋까지 모두 공개해 누구나 사용 가능합니다. 기업을 위한 RAG는 복잡한 표와 이미지에서도 답을 잘 찾을 수 있어야 합니다. 업종별 특징과 실무 문서 스타일을 반영한 RAG들을 비교해 보실 수 있습니다.
AI [금융 LLM 시리즈 5] 금융 AI 모델 학습 파이프라인 및 Llama3 이후 전략 금융 LLM 시리즈 5편, 금융 모델 제작 후, 새로운 오픈소스 모델이 나오더라도 학습과 평가에 엔지니어의 시간이 많이 들어가지 않도록 학습 파이프라인을 자동화해야 합니다. 메타의 Llama 3 공개 이후 모델 기대체와 평가 데이터도 바뀌어야 하는 상황이 왔습니다. 올거나이즈 AI팀의 고민과 진행과정을 공유합니다.
AI [금융 LLM 시리즈 4] 금융 전문 AI 모델 선정과 학습 방법 금융 전문 AI 모델을 어떻게 학습해야 할까요? 일단 좋은 퀄리티의 금융 데이터도 확보해야 하지만, 파인 튜닝 전 파운데이션 모델도 잘 선택해야 합니다. 올거나이즈는 EEVE 모델을 선택해 QLoRA, Neftune, DPO 방법을 사용해 학습을 진행해 봤습니다. 금융 LLM 시리즈 4편, 금융 전문 AI 학습 방법에서 올거나이즈 AI팀의 고민과 진행과정을 공유합니다.
AI [금융 LLM 시리즈 3] 금융 전문 AI를 위한 평가 전략 금융 전문 LLM의 성능은 어떻게 평가해야 할까요? 금융과 금융 문서를 이해하고, 복잡한 추론과 수식에 강해야 하는 LLM을 제대로 비교하고 평가하기 위해서는 정량평가와 정성평가가 모두 필요합니다. 금융 LLM 시리즈 3편, 금융 전문 AI를 위한 평가 전략에서 올거나이즈 AI팀의 고민과 진행과정을 공유합니다.
AI [금융 LLM 시리즈 2] 금융 데이터 셋 구축 전략과 학습 예시 공개 금융 AI 모델을 경량화하려면 특화된 데이터셋으로 학습시켜야 합니다. 올거나이즈의 금융 데이터 셋 구축 전략과 학습 예시를 공개합니다. 금융 LLM 시리즈는 온프렘 구축이 가능한 오픈소스 모델 중에서 성능 좋은 금융 AI 모델을 만들기 위한 올거나이즈 AI 팀의 고민과 진행 과정을 공유하고 있습니다.
AI [금융 LLM 시리즈 1] 성능 좋은 금융 AI 모델의 정의와 평가 방법 오픈AI의 GPT-4나 앤트로픽의 클로드3는 성능이 뛰어나지만, 망분리 규제를 받는 금융권에서는 사용이 어려운 측면이 있습니다. 온프렘 구축이 가능한 오픈소스 모델 중에서 성능 좋은 금융 AI 모델을 만들기 위한 올거나이즈 AI 팀의 고민과 진행 과정을 공유합니다. 금융 전문 LLM의 정의와 이를 평가하기 위한 방법론에 대해 올거나이즈 신기빈 CAIO가 방향을 제시합니다.
AI [올거나이즈] 금융 전문 LLM 리더보드 및 테스트 데이터 셋 공개 올거나이즈가 금융 전문 LLM 리더보드와 테스트 데이터셋을 공개했습니다. 이를 통해 금융권 고객들이 자신의 업무에 적합한 LLM 모델을 효율적으로 평가할 수 있게 되었습니다. 금융 LLM 리더보드는 금융 용어와 복잡한 추론에 특화된 한국어 LLM의 성능을 평가하며, 테스트 데이터셋은 금융 문서 이해, 수식 계산, 표/차트 분석 등에 특화되어 있습니다. 금융 기업들이 LLM 도입 시 효율적인 성능 평가를 수행할 수 있을 것으로 기대됩니다.
AI 생성형 AI 환각 줄이는 기업용 RAG, 표+이미지까지 찾아야 게임체인저 (2) 생성형 AI의 환각을 줄이는 대안으로 RAG(검색증강생성) 기술이 부각되고 있지만, 복잡한 표와 차트, 이미지까지 해석해내는 RAG는 많지 않습니다. 기업용 RAG의 필요성과 올거나이즈의 기업용 RAG 방법론, 성능 향상을 위한 전략을 공유합니다.
AI 생성형 AI 환각 줄이는 기업용 RAG, 표+이미지까지 찾아야 게임체인저 (1) 생성AI의 환각을 줄이는 기술로 부각된 RAG(Retrieval Augmented Generation, 검색증강생성). RAG의 개념, 작동 원리 및 고성능 리트리버의 중요성과 RAG 성능을 높이기 위한 전략을 설명합니다.
AI 🍎애플도 생성AI 시장에 뛰어든다? 멀티모달LLM 아이폰 탑재? 애플이 멀티모달 LLM 논문을 조용히 공개했습니다. 생성AI 경쟁에 본격적으로 뛰어든 것일까요? 삼성 갤럭시24처럼 아이폰에서도 생성AI를 사용할 수 있게 될까요? 애플이 생성AI의 본격적인 강자가 될 수 있을지 분석해 보았습니다.
![[금융 LLM 시리즈 5] 금융 AI 모델 학습 파이프라인 및 Llama3 이후 전략](/content/images/size/w600/2024/05/-----------2024-05-20-------11.04.01-1.png)
![[금융 LLM 시리즈 4] 금융 전문 AI 모델 선정과 학습 방법](/content/images/size/w600/2024/05/-----------2024-05-14------3.15.24.png)
![[금융 LLM 시리즈 3] 금융 전문 AI를 위한 평가 전략](/content/images/size/w600/2024/05/-----------2024-05-08-------10.47.35.png)
![[금융 LLM 시리즈 2] 금융 데이터 셋 구축 전략과 학습 예시 공개](/content/images/size/w600/2024/04/-----------2024-04-19------7.29.10.png)
![[금융 LLM 시리즈 1] 성능 좋은 금융 AI 모델의 정의와 평가 방법](/content/images/size/w600/2024/04/image-20240408-075415-1.png)
![[올거나이즈] 금융 전문 LLM 리더보드 및 테스트 데이터 셋 공개](/content/images/size/w600/2024/04/----------.png)
