https://arxiv.org/abs/2005.14165 Language Models are Few-Shot LearnersRecent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fiarxiv.org2024.11.27 - [[Deep daiv.]/[Deep daiv.] NLP] - [Deep daiv.] NLP..
Fuzzy Inference 애매함 (ambigous)를 처리하는 수리 이론퍼지 집합가능한 해의 집합예제: "아름다운 여자의 집합", "키 큰 사람의 집합"소속 여부가 확실하지 않은 경우의 집합 - 수학적 집합과 배치소속 함수D 소속함수는 전체 집합 X의 모든 원소를 집합 {0,1}에 대응(mapping), 즉 예시 + 예시 2번을 보면 25세의 경우 두 집합에 포함될 확률의 합이 1이 넘는것을 볼 수 있다. 퍼지집합의 기준은 주관적이기 때문이다. 퍼지집합의 연산 집합 X에 정의된 두 개의 퍼지 집합 A,B여집합 A각 원소 x에 대한 소속 함수: 1 - u(x)합집합각 원소 x에 대한 소속 함수: max{uA(x), uB(x)}교집합각 원소 x에 대한 소속 함수: min{uA(x), uB(x)}상등정의:..
지식의 정의 지식합목적적으로 개념화된 형태의 정보정보가 지식이 되기 위해서는 지식 베이스가 필요 (데이터와 정보를 정리하고 체계화하여 정리) 지식의 표현과 추론 지식과 문제의 해를 얻기 위해 지식을 처리하는 메커니즘이 모두 필요지식은 컴퓨터에서 처리되기 위해 심볼의 형태로 묘사된다표현된 지식은 추론 과정을 통해 새로운 내부 표현형태로 변환사실과 내부표현 사이의 매핑: 시스템의 표현 능력을 나타내는 중요한 요소 + 정방향 매핑은 fact에서 simbol로의 변환, 역방향 매핑은 new simbol에서 new fact로의 변환을 의미한다. + 추론은 입력받은 simbol을 통해 new simbol을 만드는 과정을 말한다. ex. 모든 사람은 생각한다: ∀x(man(x) → think(x)) 지식 표현 방법 ..
stdio: Standard I/O Library Perfomance issuesAlignmentI/O performance is optimal when requests are issued on block-aligned boundaries in integer multiples of the block sizeI/O의 성능은 OS가 관리하는 block사이즈의 배수로 관리되는 buffer의 유무에 달려있습니다. 즉 buffer의 시작주소나 길이가 block size의 양수배여야 성능이 좋아집니다.Number of system callsPerformance degradation is exacerbated by the increased number of system calls required to readA si..
I/O Redirection Operators Redirecting stadard output: >Usage: command > filenameRedirects the standard output to a file rather than the screenCreates the new destination fileif the file already exists, it will be overwritten with the data in the standard output이미 내용이 있거나, 이미 존재하는 파일이라면 기존의 내용은 사라지고 새로운 내용을 덮어씁니다E.g., ls > foo.txtCauses the shell to load and execute ls program, with standard outp..
https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a newarxiv.org Abstract. 기존의 지배적인 transduction model들은 CNN 혹은 RNN기반이었습니다. 특히 가장 좋은 성능을 보이는..
Combinatorial Optimization (CO) Many computer science problems deal with the choice of a best set of parameters to achieve some goalExamplePlacement and routing problem in VLSI designThe traveling salesman problem굉장히 복잡한 해공간을 갖는 문제 Approaches to CO Heuristic search (Informed Search)Using a function that evaluates the quality of assignment, for example, the number of constraints violated by the a..
Zero-Sum Games and AI A player's utility gain or loss is exactly balanced by the combined gain or loss of opponents → 어느 한 플레이어에게 이득인것은 반대편 플레이어에게는 손해여야한다.This is a powerful concept important to AI development for measuring the cost/benefit of a particular moveNash Equilibrium Games and AI Traditional strategy - Minimax:Attempt to minimize opponent's maximum reward at each state (Nash Equilibriu..