생성형 AI Allganize의 새로운 LLM 평가 플랫폼으로 DeepSeek-V3를 평가해 봤습니다. DeepSeek-V3에 대한 Agent 벤치마크 평가 결과 최근 6700억 개의 파라미터를 가진 DeepSeek-V3가 오픈소스로 공개되었습니다. DeepSeek-V3는 ChatGPT나 Gemini처럼 텍스트를 이해하고 생성하는 데 뛰어난 능력을 가진 LLM이지만, 기존 모델과는 몇 가지 중요한 차이점을 가지고 있습니다. 이 모델의 핵심 목표는 높은 성능을 유지하면서도 학습 비용을 크게 절감하는 것입니다. DeepSeek-V3는 주요 기술적 혁신을 통해
생성형 AI 실시간 서비스를 위한 Cross-Encoder 경량화 시도와 엔지니어링을 통한 최적화 * 실시간 서비스를 위한 Cross-Encoder 경량화 시도에 대해 올거나이즈 RAG팀의 조한준 엔지니어님이 설명해 드립니다. 1. 서론: Cross-Encoder와 실시간 검색 시스템의 과제 1.1 배경 Reranking은 검색 시스템에서 검색 결과의 품질을 결정짓는 핵심 과정으로, 최종 사용자 경험에 큰 영향을 미칩니다. 이 중에서도 Cross-Encoder는 쿼리와 문서 간의 상호작용을 정교하게 모델링하여, 기존 검색 모델(
