생성형 AI Allganize의 새로운 LLM 평가 플랫폼으로 DeepSeek-V3를 평가해 봤습니다. DeepSeek-V3에 대한 Agent 벤치마크 평가 결과 최근 6700억 개의 파라미터를 가진 DeepSeek-V3가 오픈소스로 공개되었습니다. DeepSeek-V3는 ChatGPT나 Gemini처럼 텍스트를 이해하고 생성하는 데 뛰어난 능력을 가진 LLM이지만, 기존 모델과는 몇 가지 중요한 차이점을 가지고 있습니다. 이 모델의 핵심 목표는 높은 성능을 유지하면서도 학습 비용을 크게 절감하는 것입니다. DeepSeek-V3는 주요 기술적 혁신을 통해
생성형 AI 실시간 서비스를 위한 Cross-Encoder 경량화 시도와 엔지니어링을 통한 최적화 * 실시간 서비스를 위한 Cross-Encoder 경량화 시도에 대해 올거나이즈 RAG팀의 조한준 엔지니어님이 설명해 드립니다. 1. 서론: Cross-Encoder와 실시간 검색 시스템의 과제 1.1 배경 Reranking은 검색 시스템에서 검색 결과의 품질을 결정짓는 핵심 과정으로, 최종 사용자 경험에 큰 영향을 미칩니다. 이 중에서도 Cross-Encoder는 쿼리와 문서 간의 상호작용을 정교하게 모델링하여, 기존 검색 모델(
AI RAG의 오래된 숙제 - 동의어(Synonym) 1. Problem 정보 검색(IR)과 자연어 처리(NLP) 분야에서 동의어 문제는 오랜 기간 해결해야 할 과제로 여겨져 왔습니다. 특히, 의료, 법률, 기술, 금융 같은 전문 분야에서는 동일한 개념이 다양한 표현으로 사용됩니다. 이를 정확하게 매칭하지 않으면 중요한 정보를 놓칠 수 있습니다. 예를 들어, 의료 분야에서 "전자의무기록"과 "
AI 문맥을 이해하고 추론하다: Reranker를 통한 AI 기반 검색 혁신 생성형 AI의 환각을 줄이고 보다 정확한 답변을 제공하기 위해서는 RAG의 성능이 무엇보다 중요합니다. 이때 문서에서 가장 정확한 내용을 '검색(Retrieval)'하기 위해 다양한 기술적 발전이 있었습니다. 그 중에서도 올거나이즈의 Alli는 정밀도를 유지하면서도 보다 효율적인 Raranking 전략을 도입하였습니다. 문맥을 이해하고 추론하는 Reranker에 대해 올거나이즈 RAG팀의 조한준님과 이정훈 팀장님이 설명해
