전체 글

NER: Binary classification for center word being location 지난 강의의 마지막에 살펴보았던 NER의 과정은 다음과 같습니다: 이번 시간에는 NER의 과정을 따라가며 역전파와 미분 계산에 대해 살펴보겠습니다. 하지만 이때 함수 f에 대해 먼저 살펴보고 가는것이 좋습니다. Non-linearities, old and new 비선형성을 추가해주는 함수 f()에는 정말 다양한 함수들이 들어갈 수 있습니다. Non-linearities (i.e., "f" on previous slide): Why they're needed 그렇다면 왜 이런 비선형성을 도입해야할까요? 신경망 네트워크(Neural networks)는 회귀나 분류등의 예측을 수행하는 함수를 갖습니다. 이때..

The skip-gram model with negative sampling 이전 강의에서 사용한 Skip-gram의 확률식을 살펴보면, 분모의 정규화식을 계산하는 데 모든 단어에 대해 exp의 합을 구하는 것을 알 수 있습니다. 만약 vocab의 크기가 50만이라면 해당 계산을 50만번 해야한다는 의미입니다. 이는 너무 계산비용이 비싸기 때문에 negative sampling이라는 기법을 통해 해당 문제를 해결하고자 합니다. negative sampling의 핵심 아이디어는 실제 window안에 들어있는 중심 단어와 맥락 단어 쌍을 맞추고, 랜덤한 단어와 중심 단어 쌍의 틀리게 하는 방향으로 로지스틱 회귀를 진행하는 것입니다. 이때 랜덤한 단어는 10~15개의 단어로 기존 방식(=vocab size)에..

Human langauge and word meaning 인간의 언어는 맥락이 있고, 상황마다 다르게 해석될 수 있습니다. 그래서 사람들에게 언어는 유용한 도구가 될 수 있지만, 반대로 컴퓨터에게는 이해하기 어려운 지점입니다.   How do we represent the meaning of a word? 어떤 단어의 뜻을 표현할 때는 흔히 어떤 생각이나 실제 물체와 단어를 연관짓는 방법을 사용합니다. 예를 들어 나무의 뜻을 표현할 때는 나무를 나타내는 그림이나, 나무에 대한 다른 생각들을 이용해서 표현합니다.   How do we have usable meaning in a computer? 하지만, 이런 단어의 뜻을 컴퓨터에 이식할 수는 없습니다(그림을 그려서 넣어줄 수도 없고). 그래서 이전에 NL..

https://arxiv.org/abs/2203.02155 Training language models to follow instructions with human feedbackMaking language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aliarxiv.org Abstraction. 언어 모델의 크기를 키운다고 해서,..

1. Motivation 연구 주제로서의 Motivation 일상에서의 LLM(Large Language Model)은 주로 질문에 답을 제시하거나 주어진 데이터를 요야가는 데 활용됩니다. 이번 연구에서는 이러한 보편적인 역할에서 벗어나, 직접 문제를 출제하는 역할로서의 LLM을 탐구했습니다. 문제를 출제하기 위해서는 단순히 정보를 재구성하는 데 그치지 않고, 내용을 철저히 파악하고 분석하여 핵심 요점을 질문 형태로 제시해야합니다. 저희는 이러한 높은 수준의 추론 능력을 요하는 작업을 한국의 수능 국어 비문학 문제 출제에 적용하고자 합니다. 과연 LLM이 수능 국어 시험에 대해 제대로된 이해를 가지고 알맞은 지문과 문제를 만들 수 있을까요? 일련의 과정을 거쳐 LLM이 만든 지문과 문제를 얻었다고 합시다..

2025.01.13 - [[Deep daiv.]/[Deep daiv.] NLP] - [Deep daiv.] NLP, 논문 리뷰 - A Survey on LLM-as-a-Judge [Deep daiv.] NLP, 논문 리뷰 - A Survey on LLM-as-a-Judgehttps://arxiv.org/abs/2411.15594 A Survey on LLM-as-a-JudgeAccurate and consistent evaluation is crucial for decision-making across numerous fields, yet it remains a challenging task due to inherent subjectivity, variability, and scale. Large Lan..

https://arxiv.org/abs/2411.15594 A Survey on LLM-as-a-JudgeAccurate and consistent evaluation is crucial for decision-making across numerous fields, yet it remains a challenging task due to inherent subjectivity, variability, and scale. Large Language Models (LLMs) have achieved remarkable success across diverse darxiv.org Abstract. 이 논문에서는 다양한 분야에서 의사결정을 위해 정확하고 일관된 평가가 중요하지만, 주관성, 가변성, 규모의 문제로..

https://arxiv.org/abs/2305.14314 QLoRA: Efficient Finetuning of Quantized LLMsWe present QLoRA, an efficient finetuning approach that reduces memory usage enough to finetune a 65B parameter model on a single 48GB GPU while preserving full 16-bit finetuning task performance. QLoRA backpropagates gradients through a frozen, 4-bit quanarxiv.org Abstract. 해당 논문에서 제시하는 QLoRA는 65B 파라미터 규모의 모델(예: LLaMA..