Issues with recurrent models: Linear interaction distance Transformer는 RNNs의 구조적인 단점을 해결하기 위해 나온 구조입니다. 따라서 Transformer를 이해하기 위해서는 RNNs의 단점을 먼저 살펴볼 필요가 있습니다. 먼저 Linear interaction distance입니다. RNNs은 구조상 왼쪽에서 오른쪽으로 흐릅니다. 이는 언어를 이해하는데 매우 유리한 구조입니다.근처에 있는 단어를 통해 다음 단어를 생각하고 유추하는 이 방법은 어떻게 보면 매우 합리적이기 때문입니다. 하지만 이 때문에 거의 sequence length에 달하는 거리만큼의 step의 차이가 단어 쌍 사이에 존재할 수도 있습니다. 예를 들어, 위 예시와 같이 chef..
Nested Subqueries query는 select-from-where의 어디든 subquery로서 중첩될 수 있습니다. 다음의 질의가 들어온경우 다음과 같은 쿼리가 필요합니다:Find course offered in Fall 2017 and in Spring 2018select distinct course_idfrom sectionwhere semester = 'Fall' and year = 2017 and course_id in (select course_id from section where semester = 'Spring' and year = 2018); Find courses offered in Fall 2017 but not in Spring 2018select dist..
Cycles Per Instruction (Throughput) 2025.03.17 - [[학교 수업]/[학교 수업] Computer Architecture] - [Computer Architecture] Computer Abstractions & Technology | Week 2 [Computer Architecture] Computer Abstractions & Technology | Week 2Performance 컴퓨터의 성능을 결정짓는 요소들은 매우 많습니다. 그리고 성능을 보여주는 지표 또한 매우 많습니다. 이에 대해 살펴봅니다. Response Time and Throughput Response time(응답 시간): 응답 시간hw-hk.tistory.com 앞선 글에서도 살펴봤듯, 평균 ..
Performance 컴퓨터의 성능을 결정짓는 요소들은 매우 많습니다. 그리고 성능을 보여주는 지표 또한 매우 많습니다. 이에 대해 살펴봅니다. Response Time and Throughput Response time(응답 시간): 응답 시간은 어떤 태스크를 수행하는데 걸리는 시간을 말합니다. 만약 성능을 향상시키기 위해 CPU는 더 빠른 버전으로 바꿨다면 이는 응답 시간에 포커스를 둔 성능 향상입니다.Throughput: 단위 시간동안 한 일입니다. 다시 말해, 단위 시간당 얼마나 많은 일을 해결할 수 있는가? 입니다. 만약 성능을 향상시키기 위해 CPU의 개수를 늘렸다면 이는 Throughput에 포커스를 둔 성능 향상입니다. Relative Performance Response Time에 대한 ..
The computer Revolution Classes of Computers Personal computers (Desktop)범용적인 목표를 갖고, 다양한 소프트웨어가 작동되야 합니다.일반적으로 성능과 비용의 trade-off관계가 성립할 수 있습니다.Server computers네트워크 베이스높은 용량과 성능, 신뢰가 필요합니다.Supercomputers서버 컴퓨터의 한 종류입니다.높은 수준의 과학/공학적 계산을 수행합니다. 하지만 전체적인 컴퓨터 시장에서 매우 작은 부분을 차지합니다.Embedded computers어떤 시스템에 숨겨진 부분으로서 동작합니다.성능이나 비용, 배터리 등 다양한 제약조건이 존재합니다. The postPC era Personal Mobile Device (PMD)개인용..
Storage Definitions and Notation Review 가징 기본적인 컴퓨터의 저장 단위는 bit입니다. 이는 2개의 값, 0과 1을 저장할 수 있는 저장 공간의 크기를 말합니다. 컴퓨터가 발전함에 따라 더 큰 저장 단위가 필요해졌고, 8-bit를 묶어서 byte라고 정의했습니다. 그리고 각각 1024byte를 KB, 1024^2byte를 MB 등등의 단위를 붙여 더 큰 저장단위를 만들어갔습니다. 한편, word라는 단위로 컴퓨터 구조의 가장 기본적인 저장 단위를 나타내기도 합니다. 이는 컴퓨터 구조에 따라 달라질 수 있습니다. 예를 들어, 64-bit컴퓨터의 경우 메모리 주소의 word는 64-bit(8byte)입니다. Storage Structure 컴퓨터에서 사용하는 저장장치는 다..
Euler's Formula 앞서 봤듯 오일러 공식을 이용해 다음과 같은 식을 유도할 수 있습니다.좌변을 Complex Exponential라고 부르며, 실수부는 cosine함수, 허수부는 sine함수로 구성됩니다. 이때 진폭, 혹은 원의 반지름은 r입니다. 이때 θ를 ωt(radian frequency)로 치환한다면 다음과 같은 식을 만들 수 있습니다: 이는 ωt의 라디안 주파수를 갖고 단위원을 회전하는 점에 대한 식으로 해석할 수 있습니다. cos = REAL PART 위 식에서 실수부는 cos함수입니다. 실수부를 나타내는 표현은 Re입니다: 이때 정현파의 일반식을 가져와서 complex exponential을 이용해 표현해보면 다음과 같이 나타낼 수 있습니다: 예를 들어 다음과 같은 complex..
Q. 만약 Null value가 겹쳐도 PK가 불가능할까?A. 불가능 Relational Query Languages Structured query language(SQL)과 같은 표현력을 갖는 순수한 언어를 Relational Query Language라고 합니다. 그 중 Relational operators를 사용하는 Relational algebra를 살펴보려합니다. Relational operators는 시용자 쿼리를 표현할 수 있는 6개의 간단한 관계 연산자를 말합니다. Selection of tuples (σ) 모든 row(tuple)들을 살피면서 조건에 맞는 row를 선택하여 table로 출력해줍니다. 다른 연산자들과는 달리 조건에 맞는 row를 선택하는 것이기 때문에 출력 table이 모든..
