전체 글

Word structure and subword models Pretraining에 대해 알아보기 전에 단어들을 어떻게 파싱하는 지에 대해 알아보겠습니다. 지금까지는 정해진 vocab에 대해 embedding을 진행했습니다. 그리고 정해진 vocab에 들어있지 않은 단어들은 UNK (unknown)처리를 했습니다. 하지만 그렇게 된다면 철자를 실수로 틀렸거나, 신조어등은 임베딩하지 못하게 되며, 많은 양의 정보들을 잃을 수도 있습니다. 예를 들어, Swahili의 동사들은 수백여개의 파생형 동사들이 존재합니다. 이를 모두 다른 index로 처리한다면 vocab의 크기가 매우 매우 커질 수 있습니다. 하지만 해당 동사의 파생형들은 앞 부분에 공통적인 character들을 갖고 있기 때문에 subword v..

MIPS I-format Instructions  이는 immediate instructions들을 위한 포맷입니다. 이는 source가 될 수 있는 자리가 최대 2개가 있다는 점에서 R-format과 차이를 보입니다.rs: source register numberrt: detination or source register number; source가 될 수도 있고, target이 될 수도 있는 자리입니다.constant: sign의 경우 -2^15 to +2^15-1까지의 수를 나타낼 수 있고, unsigned의 경우  0 to +2^16-1까지의 수를 나타냅니다.address: rs의 base address에 더해지는 offset을 나타냅니다.r-format과 i-format을 같은 32bit체계로 ..

Chapter 2. Implementation OS는 구현 방법이 다양합니다. (1) 초기 OS는 어셈블리어로 구성되었으며, (2) system programming language로는 Algol이나 PL/1과 같은 언어를 사용했었습니다. (3) 현재는 대부분 C, C++로 이루어져있습니다. 사실 OS는 기능이 다양하기 때문에 다양한 언어들로 구현됩니다. 가장 낮은 수준은 어셈블리로, 주로 C언어로 구성되며, PERL, Python, shell script같은 scripting language들을 사용하기도 합니다. 높은 수준의 언어를 사용할 수록 다른 하드웨어와의 이식성이 올라가지만 속도가 느려지는 단점이 있습니다. 또한 Emulation을 이용해서 OS가 그에 맞지 않는 하드웨어 위에서도 동작하도록 ..

Instruction Set Instruction set은 매우 다양한 종류가 있습니다. (1) 초창기 instruction sets는 매우 간단한 구현들로 이루어졌습니다. (2) 그러나 다양한 기능들을 추가한 instruction set인 CISC가 등장했습니다. 하지만 다양한 기능들을 구현하기 위해 명령 포맷을 가변 길이로 설정했기 때문에 디코딩하는데 시간이 매우 오래 걸렸습니다. (3) 이에 명령들의 포맷의 수를 줄이고, 간단한 명령들로만 이루어진 RISC구조가 등장했습니다. 이는 속도를 올리는데 집중한 구조였습니다. The MIPS Instruction Set 해당 수업에서는 RISC의 대표적인 예시인 MIPS 기술에 대해 알아볼 것입니다. Arithmetic Operations 어떤 두 수를 더..

Fourier Series  위 공식은 푸리에 적분 (Fourier series integral)입니다. 이는 periodic signal x(t)에 대해서만 적용할 수 있으며, 이 공식을 통해 푸리에 계수 (Fourier coefficient)를 알 수 있습니다. 이때 푸리에 계수 a_k는 complex amplitude or phasor를 X_k라고 했을 때, a_k = 1/2X_k입니다. 이는 Sepctrum Diagram에서 각 파동들의 amplitude 값입니다. 푸리에 계수를 이용해서 다시 한 번 x(t)를 표현하면 다음과 같습니다. Harmonic Signal 푸리에는 위 x(t)에 대한 정규식에 대해 k를 -∞ 부터 ∞ 까지의 범위로 확장시켜 생각했습니다. 따라서 아래와 같은 정규식이 나왔..

View Definition and Use 이전에 임시적으로 table의 view를 생성하는 방법으로 with 문을 살펴본 적이 있습니다. 하지만 with을 통한 임시적인 view는 일회성으로, 여러번 사용할 수 없다는 특징을 갖습니다. 한편 create view를 통한 view는 DB내에서 계속해서 사용할 수 있다는 점이 with과는 다른 점입니다. A view of instructors without their salaryCREATE VIEW faculty as SELECT ID, name, dept_name FROM instructor Crete a view of department salary totals (Attr. 이름을 설정 가능)CREATE VIEW departments_tota..

Operating System Services OS는 사용자에게 프로그램이나 서비스가 실행할 수 있는 환경을 제공해줍니다. 이는 다음과 같은 기능들을 포함합니다:User Interface: 사용자가 OS에게 명령을 주는 인터페이스를 말합니다.Command-Line Interface (CLI)나 Graphical User Interface (GUI), Batch Interface등의 다양한 인터페이스 종류들이 존재합니다.Program execution: OS는 사용자의 프로그램을 메모리로 load하여 실행할 수 있도록 도와주며, 실행 뿐만 아니라 정상적/비정상적으로 동작하고 있는지도 검출합니다(indicating error).I/O operation: 대부분의 프로그램은 I/O동작을 필요로합니다. 이때 O..

Gathrer (A, ω, φ) information  이전 시간이 봤던 위 다이어그램에서 Amplitude, radian frequency, phase값을 얻어낼 수 있습니다: 우선 각 부분파의 complex amplitude값을 보면, 7e^jπ/3와 7e^-jπ/3, 4e^-jπ/2와 4e^jπ/2입니다. 이 둘은 켤레복소수 관계, 즉 conjugate관계임을 알 수 있습니다. 그래서 이 둘을 conjugate phase라고 부릅니다((e^jφ)* = e^-jφ).  또한 frequency와 phase가 0인 부분을 DC component라고 부릅니다. DC component는 항상 주파수가 0이고 phase가 0입니다. 이는 정현파에서 평균 값을 나타내는데, t를 축으로 하는 정현파에서 그래프의 ..