전체 글

https://arxiv.org/abs/2510.11358 LLM-Specific Utility for Retrieval-Augmented GenerationRetrieval-augmented generation (RAG) is typically optimized for topical relevance, yet its success ultimately depends on whether retrieved passages are useful for a large language model (LLM) to generate correct and complete answers. We argue that such utiarxiv.org Abstract RAG는 보통 주제 관련성에 맞춰 최적화되지만, 성공 여부는 검..

https://aclanthology.org/2025.findings-emnlp.511/ Uplift-RAG: Uplift-Driven Knowledge Preference Alignment for Retrieval-Augmented GenerationChangle Qu, Sunhao Dai, Hengyi Cai, Yiyang Cheng, Jun Xu, Shuaiqiang Wang, Dawei Yin. Findings of the Association for Computational Linguistics: EMNLP 2025. 2025.aclanthology.orgAbstract RAG는 외부에서 검색한 문서를 활용해 LLM의 지식 범위를 넓히고 환각을 완화하는 데 효과적임이 입증되었다. 그러나 retr..

일반적인 embedding model이 텍스트 전체를 하나의 벡터로 압축하는 반면, multi-vector model은 토큰마다 하나의 벡터를 유지하고 MaxSim 연산으로 query와 doc 사이의 점수를 계산합니다. 이렇게 하면 하나의 vector로 통합하는 과정에서 사라질 수 있는 token-level의 매칭 정보를 보존할 수 있습니다. 보통 더 큰 index를 사용하는 대가로 검색 성능을 높일 수 있다는 뜻입니다. 또한 multi-vector 방식은 visual document retrieval에서도 최도 수준의 성능을 보입니다. 여기서는 중간에 OCR 단계를 거치지 않고 text query를 doc page images와 직접 매칭합니다. 조금 더 디테일하게, OCR을 거쳐서 검색에 사용한다면,..

Filtered Vector Search 만약 문서 하나가 다음과 같은 vector와 metadata를 같이 가진다고 하자:vector: semantic embeddingpayload: hospital = "A" department = "cardiology" year = 2026 document_type = "guideline" 이때 사용자가 "heart failure treatment"를 검색하지만 조건이 다음과 같으면:hospital = AANDyear >= 2025 원하는 것은 단순한 nearest neighbor가 아니다. 아래와 같으며: 여기서 F(d)는 matadata filter이다. 이 과정을 HNSW graph를 이용해서 할 때 어려움이 발생하는데, HNSW g..

How to tune hybrid search hybrid search를 구현할 때 가장 먼저 해야할 일은 "Does hybrid actually beat its components?" 질문을 해야한다. fusion 방법인 RRF에서는 다음과 같은 수식을 사용한다: 이때 K의 의미가 중요하다:작은 K: Rank에 굉장히 민감하다. K=2 인 경우, rank1이 rank10보다 약 5.5배 강한 contribution을 갖는다. 즉, retriever는 rank 1 doc이 rank 10 doc보다 좋다는 것을 강하게 믿는다. 그래서 작은 K는 individual retriever의 top ranking을 많이 신뢰한다고 이해하는 것이 적절하다.큰 K: Rank의 차이에 둔감하다. K=61 인 경우, r..

Hybrid Search Dense retrieval은 query와 documents를 embedding vector로 만든다음, 이들의 cosine similarity를 통해서 두 texts 사이의 유사도를 계산한다: 이는 표현이 조금 달라도 의미가 비슷하면 관련된 문서를 가져올 수 있다는 장점이 있다. 예를 들어, query는 "심장이 빠르게 뛰면서 어지럽다."이고, documents는 "빈맥과 현기증이 동반될 수 있다."라면 이는 겹치는 표현은 존재하지 않지만 latent space에서 비슷한 의미를 가지고 있기 때문에 유사한 문서로 검색될 수 있다. 하지만 embedding은 문장을 하나의 representation으로 압축하기 때문에 특정 문자열이 정확히 일치한다는 사실을 약하게 취급할 수 있다..

https://arxiv.org/abs/2504.13837 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?Reinforcement Learning with Verifiable Rewards (RLVR) has recently demonstrated notable success in enhancing the reasoning performance of large language models (LLMs), particularly on mathematics and programming tasks. Similar to how traditional RL helps aarxiv.org Abs..

https://arxiv.org/abs/2407.21787 Large Language Monkeys: Scaling Inference Compute with Repeated SamplingScaling the amount of compute used to train language models has dramatically improved their capabilities. However, when it comes to inference, we often limit models to making only one attempt at a problem. Here, we explore inference compute as another axisarxiv.org Abstract. Language Model 을 ..