전체 글

1. Deep Learning 딥러닝은 심층학습입니다. 통계를 기반으로 하는 머신러닝 알고리즘보다 데이터의 복잡한 패턴을 파악하기에 더욱 용이합니다. 딥러닝은 인공지능의 한 분야로 대표적인 기계학습 방법론입니다.Deep Learning Architecture 는 다음과 같습니다: 신경망은 뇌의 뉴런들이 상호 연결되어 경험으로부터 학습한느 두뇌의 생물학적 활동을 모형화 한 것입니다.대표적인 신경망 아키텍처로는 MLP(* Multi-Layer Preceptron) 혹은 FFN 이라고 부르는(* Feed-Forward networks) 가 있습니다. 이 네트워크는 단순히 입력 값을 받아들이는 노드들로 구성된 입력층(* Input Layer)과 이전 층으로부터 입력 정보를 받아들이는 노드들로 구성된 전방향층(*..

0. 현재 상황 2024.08.14 - [[Deep daiv.] 복습] - [Deep daiv.] TIL & WIL - 5. 자연어 처리 & 텍스트 처리 (Contd.) [Deep daiv.] TIL & WIL - 5. 자연어 처리 & 텍스트 처리 (Contd.)이전 글2024.08.09 - [[Deep daiv.] NLP] - [Deep daiv.] NPL - 1. 텍스트 처리 [Deep daiv.] NPL - 1. 텍스트 처리0. 텍스트 전처리 텍스트 전처리는 풀고자 하는 문제의 용도에 맞게 텍스트를 사전에 처리하는 작업hw-hk.tistory.com에 나왔던 TF-IDF 에는 한계점들이 분명히 있습니다.단어의 의미 무시단어의 등장 순서 무시TF-IDF 나 BoW 모두 마찬가지로 단어의 빈도를 중심으..

이전 글2024.08.09 - [[Deep daiv.] NLP] - [Deep daiv.] NPL - 1. 텍스트 처리 [Deep daiv.] NPL - 1. 텍스트 처리0. 텍스트 전처리 텍스트 전처리는 풀고자 하는 문제의 용도에 맞게 텍스트를 사전에 처리하는 작업입니다. 요리를 할 때 재료를 제대로 손질하지 않으면, 요리가 엉망이 되는 것처럼 텍스트에hw-hk.tistory.com 1. 한국어 토큰화 한국어로 학습 데이터를 사용할 때는 언어의 특성으로 인해 추가로 고려해야 할 사항이 존재합니다.한국어는 띄어쓰기를 준수하지 않아도 의미가 전달되는 경우가 많아 띄어쓰기가 지켜지지 않을 가능성이 존재합니다.띄어쓰기가 지켜지지 않으면 정상적인 토큰의 분리가 이루어지지 않기 때문에, 한국어는 형태소라는 개념을..

0. 시작 2024.08.11 - [[Deep daiv.] 복습] - [Deep daiv.] TIL - 4강. 지도 학습(분류) [Deep daiv.] TIL - 4강. 지도 학습(분류)0. 지도 학습 2024.08.09 - [[Deep daiv.] 복습] - [Deep daiv.] TIL - 3. 비지도 학습 세션 다시 시작'을 해주세요!sudo apt-get install -y fonts-nanum!sudo fc" data-og-host="hw-hk.tistory.com" data-og-source-url="https://hw-hk.tistory.com/hw-hk.tistory.com과 목표는 똑같습니다. 선수들의 데이터를 모아 포지션을 예측하는 문제입니다.이번에는 다양한 기법을 통해 해당 모델의 성..

1. k-NN 알고리즘 2024.03.19 - [머신러닝] - 머신러닝 공부 - 1 머신러닝에 대한 기본적인 이해와 KNN 알고리즘 머신러닝 공부 - 1 머신러닝에 대한 기본적인 이해와 KNN 알고리즘1. 분류와 회귀 머신러닝(Machine Learning) 은 크게 두 종류로 나타낼 수 있습니다. 분류(Classification) 회귀(Regression) 분류 (Classification) 는 미리 정의된 가능성 있는 여러 클래스 레이블 중 하나를 예측hw-hk.tistory.com2024.03.22 - [머신러닝] - 머신러닝 공부 - 2 KNN Regression and Linear Model 머신러닝 공부 - 2 KNN Regression and Linear Model1. K-NN Regress..

0. 지도 학습 2024.08.09 - [[Deep daiv.] 복습] - [Deep daiv.] TIL - 3. 비지도 학습 세션 다시 시작'을 해주세요!sudo apt-get install -y fonts-nanum!sudo fc" data-og-host="hw-hk.tistory.com" data-og-source-url="https://hw-hk.tistory.com/89" data-og-url="https://hw-hk.tistory.com/89" data-og-image="https://scrap.kakaocdn.net/dn/hhGln/hyWKARDMbL/D46TKtkskkvbDoJfs3G8Tk/img.png?width=800&height=410&face=0_0_800_410,https://s..

0. 텍스트 전처리 텍스트 전처리는 풀고자 하는 문제의 용도에 맞게 텍스트를 사전에 처리하는 작업입니다. 요리를 할 때 재료를 제대로 손질하지 않으면, 요리가 엉망이 되는 것처럼 텍스트에 제대로 전처리를 하지 않으면 뒤에서 배울 자연어 처리 기법들이 제대로 동작하지 않습니다. 1. 영어 처리 1.1 대소문자 통합 대소문자를 통합하지 않는다면 컴퓨터는 같은 단어를 다르게 받아들일 수 있습니다. 따라서 python 의 내장 함수 .lower() 와 .upper() 를 통해 간단하게 통합할 수 있습니다.s = 'AbCdEfGh'str_lower = s.lower()str_upper = s.upper()print(str_lower, str_upper)# abcdefgh ABCDEFGH 1.2 정규화 문자열에서 ..

1. PCA 주성분 분석 고차원의 데이터를 낮은 차원의 데이터로 바꿀 때, 어떻게 바꿔야 최대한 특징을 살리면서 차원을 낮출 수 있을까를 고안하다가 나온것이 PCA 입니다. 그렇다면 어떻게 해야 '잘' 차원을 축소시킬까? 2가지 방법이 있습니다. 1. 데이터들의 분산을 최대로 하는 축을 기준2. 데이터들의 정사영의 축을 기준 이 두 가지 방법 모두 같은 결과를 나타냅니다. 수학적으로는 다음과 같은 순서를 통해 얻을 수 있습니다. 1. N차원의 데이터로부터 Covariance Matrix 를 생성합니다.2. 생성된 covariance matrix 에서 N 개의 Eigenvector, Eigenvalue 를 찾습니다.3. 찾은 Eigenvector 를 Eigenvalue 가 큰 순서대로 정렬합니다.4. 줄이..