전체 글

What is an Operating System? OS는 사용자와 컴퓨터 하드웨어 사이에 중개인으로서 행동하는 프로그램을 말합니다. 일반적으로 OS의 목표는  (1) 사용자의 프로그램을 실행시키고, 사용자의 문제를 더 쉽게 푸는 것, (2) 컴퓨터 시스템을 더 사용하기 쉽게 만드는 것(Computer system의 resource를 관리해준다. 자원관리의 측면), (3) 컴퓨터의 하드웨어를 더 효율적인 방법으로 사용하게 하는 것(Hardware resource (e.g., CPU resource)들을 관리함으로써 효율성을 올림)이 있습니다. Computer System Structure 컴퓨터 시스템의 구조는 아래 4개의 요소로 구성됩니다:Hardware: 기본적인 컴퓨팅 자원을 제공합니다.CPU, m..

2025.03.05 - [[CS224N]] - [CS224N] Stanford CS224N | Winter 2021 | Translation, Seq2seq, Attention [CS224N] Stanford CS224N | Winter 2021 | Translation, Seq2seq, AttentionMachine Translation 기계 번역은 어떤 언어(the source language)의 문장 x를 또 다른 언어(the target language)의 문장 y로 번역하는 태스크를 말합니다. 1990s-2010s: Statistical Machine Translation 초창기의 기계 번역hw-hk.tistory.com 이전 글 마지막의 Attention부터 시작합니다. Attention At..

출처https://angeloyeo.github.io/2022/01/04/sinusoids.html 정현파 기초 - 공돌이의 수학정리노트 (Angelo's Math Notes) angeloyeo.github.iohttps://angeloyeo.github.io/2022/01/05/complex_number_basic.html 복소수 기초 - 공돌이의 수학정리노트 (Angelo's Math Notes) angeloyeo.github.io 정현파(Sinusoidal wave) 전현파는 사인파(sine wave), 코사인파(cosine wave)를 포함하는 말입니다. 정현파의 본질은 원 위에 회전하는 점에 관한 것입니다. 원 위에 점을 두고 반시계방향으로 회전시킬 때, 점의 x좌표(cosine), y좌표(si..

Chapter 1. Introduction Why do we need database systems? - Drawback of file systems 파일 시스템으로 데이터를 관라한다면 여러가지 문제점들이 발생합니다:Data redundancy and inconsistency파일로 데이터를 관리하면, 중복되는 데이터 (Redundant Data) 가 여러 파일에 걸쳐 등장할 수 있습니다. 이에 데이터를 저장하는데 용량이 커지게 되며, 이는 데이터 탐색의 시간을 늘려 성능의 비효율을 발생시킵니다.또한 여러 파일에 걸쳐서 데이터가 겹쳐있기 때문에 데이터 수정 시, 누락으로 인한 불일치 (Inconsistent) 가 발생할 수도 있습니다.Difficulty in accssing data기존의 파일 시스템으로 ..

Machine Translation 기계 번역은 어떤 언어(the source language)의 문장 x를 또 다른 언어(the target language)의 문장 y로 번역하는 태스크를 말합니다. 1990s-2010s: Statistical Machine Translation 초창기의 기계 번역은 통계적 기계 번역이었습니다. 이는 확률 모델을 통해 번역을 하는 것을 말하는데, 프랑스어 → 영어 번역 태스크의 경우 주어진 프랑스어 문장 x에 대한 완벽한 영어 문장 y를 찾고 싶을 때, 다음과 같은 식을 풀면 되는 것입니다: 이 식에 베이즈 법칙을 적용하면 다음의 두 부분으로 쪼갤 수 있습니다: 이 두 부분을 살펴보면, 앞쪽에 부분은 영어 문장 y에 대한 프랑스어 x의 확률로, 영어 → 프랑스어 번역 ..

Training an RNN Language Model 이전 강의에서 RNN에 대해 살펴보았습니다. 그렇다면 RNN의 학습은 어떻게 이루어질까요?입력 corpus에 대해서, 각각의 timestep t에 대해 RNN이 생성해내는 t에서의 출력을 y_hat_t라고 하고, 정답 출력을 y_t라고 한다면, 다음과 같은 손실 함수를 통해 학습이 이루어집니다: cross-entropy계산을 통해 정답 단어에 대한 분포와 출력해낸 단어의 분포가 같도록 학습을 하는 것입니다. 이때 전체 손실을 각각의 timestep에 대한 손실의 평균을 사용합니다: 학습하는 과정을 그림으로 나타내면 다음과 같습니다: 이때 이런 학습 방법을 Teacher forcing이라고 합니다. 이는 이전 timestep에서 생성된 출력을 다음 t..

A bit more about Neural Networks We have models with many parameters! Regularization! 규제 혹은 정규화는 매우 중요합니다. L2 정규화가 그 예시입니다: 전통적인 관점에서 정규화는 모델의 과적합(overfitting)을 막는데 매우 중요한 역할을 합니다. 이때 과적합이란 Training set에 너무 과하게 적합하여 실제 데이터 분포에 대해서는 성능이 좋지 못한 것을 말합니다: 이렇게 과적합이 심한 모델의 경우, 실제 데이터 분포에 대해서는 정확하게 예측할 수 없기 때문에 적절한 수준에서 학습을 끝내줌으로써 과적합을 막는 것이 매우 중요합니다. 하지만 위에서 설명한 L2 정규화는 신경망에는 적용하기 힘듭니다. 신경망의 경우는 파라미터의 ..

NER: Binary classification for center word being location 지난 강의의 마지막에 살펴보았던 NER의 과정은 다음과 같습니다: 이번 시간에는 NER의 과정을 따라가며 역전파와 미분 계산에 대해 살펴보겠습니다. 하지만 이때 함수 f에 대해 먼저 살펴보고 가는것이 좋습니다. Non-linearities, old and new 비선형성을 추가해주는 함수 f()에는 정말 다양한 함수들이 들어갈 수 있습니다. Non-linearities (i.e., "f" on previous slide): Why they're needed 그렇다면 왜 이런 비선형성을 도입해야할까요? 신경망 네트워크(Neural networks)는 회귀나 분류등의 예측을 수행하는 함수를 갖습니다. 이때..