전체 글

해당 글은 건국대학교 서재형 교수님의 거대 언어 모델의 이해 수업 내용을 정리한 글입니다. ModernBERT and NeoBERT BERT의 양방향 encoder라는 기본 원칙은 유지하면서, 그동안 발전한 transformer 기술을 적용하면 얼마나 더 좋은 encoder를 만들 수 있을까요? ModernBERT와 NeoBERT는 이런 방향의 연구입니다. 기존의 BERT는 입력 길이가 512 tokens, 현대적인 GPU 최적화 기술을 활용하지 못하고, 이후에 개발된 activation과 positional encoding을 반영하지 못합니다. ModernBERT는 다음과 같은 차이점이 존재합니다:RoPE: BERT는 token embedding에 위치별로 학습된 position vector를 더했습니..

해당 글은 건국대학교 서재형 교수님의 거대 언어 모델의 이해 수업 내용을 정리한 글입니다. Three Transformer Families transformer 기반 언어 모델을 세 가지 계열로 나눌 수 있습니다:encoder-only: BERTdecoder-only: GPT-2encoder-decoder: T5, BARToriginal transformer는 encoder-decoder 구조였습니다. encoder는 입력 sequence를 처리하고, decoder는 encoder의 출력을 참고해 새로운 sequence를 생성합니다. 하지만 모든 language model에 encoder와 decoder가 모두 필요한 것은 아닙니다. 따라서 세 계열이 등장했습니다. encoder-only의 대표적인 모..

해당 글은 건국대학교 서재형 교수님의 거대 언어 모델의 이해 수업 내용을 정리한 글입니다. The FFN Holds Most Matrix Weights Transformer block은 두 가지 연산으로 구성됩니다:Attention: token 사이에서 정보를 교환한다.FFN: 각 token의 표현을 변환한다.computation cost는 n>6d이면 attention이 비싸지만, 파라미터의 수는 FFN이 attention이 더 많습니다. attention이 끝난 matrix를 d차원에서 4d차원으로 확장한 후, activation function을 적용하고, 다시 d차원으로 축소하는 과정을 거칩니다. 이는 중간 표현에 더 많은 비선형 feature를 구성할 수 있는 공간을 제공하기 위해 차원을 확장하..

해당 글은 건국대학교 서재형 교수님의 거대 언어 모델의 이해 수업 내용을 정리한 글입니다. What Does "it" Refer to? The animal didn't cross the street because it was too tired. 에서 it은 무엇을 가르킬까요? 사람은 자연스럽게 the animal이라고 판단합니다. 하지만 모델은 어떻게 이런 관계를 학습할 수 있을까요? 앞에서 공부한 token embedding에 따르면 문장에 it이 등장하면 해당 token ID에 대한 embedding을 조회합니다. e_it는 token ID에 대응하는 초기 표현입니다. 따라서 어떤 문장이 등장했는지와 관계없이 같은 Token ID라면 동일한 embedding을 가져옵니다. 하지만 모델은 이를 원하는..

해당 글은 건국대학교 서재형 교수님의 거대 언어 모델의 이해 수업 내용을 정리한 글입니다. Locked In at Birth? 태어날 때부터 고정되는가? Tokenizer는 일반적으로 Pretraining 전에 결정되고, 이후 post-training과 deployment에서도 동일한 tokenizer를 사용합니다. 하지만 기존 tokenizer를 변경하는 것이 불가능한 것은 아닙니다. 변경하려면 embedding과 언어 모델을 함께 적응시키는 과정이 필요합니다. 왜 tokenizer는 pretraining 전에 결정할까요? tokenizer는 문자열을 정수 ID로 바꾸고, embedding layer는 이 ID를 이용해 특정 행을 조회합니다. 그리고 LLM은 pretraining 과정에서 ID에 해당하..

해당 글은 건국대학교 서재형 교수님의 거대 언어 모델의 이해 수업 내용을 정리한 글입니다. Opening: How many "r"s in strawberry? 인간이 보는 단위와 LLM이 보는 단위는 다릅니다. 사람이 strawberry를 본다면 s t r a w b e r r y 라고 인식하고, 직접 r의 개수를 셀 수 있습니다. 하지만 LLM이 보는 cl100k_base tokenizer의 경우 단독 문자열 strawberry를 다음과 같이 분할합니다: 모델은 원칙적으로 각각의 알파벳 문자에 대응하는 입력 위치를 받는 것이 아니라, str, aw, berry에 해당하는 embedding을 입력으로 받습니다. str이는 r이 하나 있고, berry에는 r이 두 개 있습니다. 하지만 transformer..

https://arxiv.org/abs/2510.11358 LLM-Specific Utility for Retrieval-Augmented GenerationRetrieval-augmented generation (RAG) is typically optimized for topical relevance, yet its success ultimately depends on whether retrieved passages are useful for a large language model (LLM) to generate correct and complete answers. We argue that such utiarxiv.org Abstract RAG는 보통 주제 관련성에 맞춰 최적화되지만, 성공 여부는 검..

https://aclanthology.org/2025.findings-emnlp.511/ Uplift-RAG: Uplift-Driven Knowledge Preference Alignment for Retrieval-Augmented GenerationChangle Qu, Sunhao Dai, Hengyi Cai, Yiyang Cheng, Jun Xu, Shuaiqiang Wang, Dawei Yin. Findings of the Association for Computational Linguistics: EMNLP 2025. 2025.aclanthology.orgAbstract RAG는 외부에서 검색한 문서를 활용해 LLM의 지식 범위를 넓히고 환각을 완화하는 데 효과적임이 입증되었다. 그러나 retr..