밀래의 코딩북

이 포스팅은 개인적은 공부를 남기는 포스팅입니다. 잘못된 부분이 있다면 댓글로 알려주시면 감사합니다. Wrapper Selection은 Feature Selection에 예측 모델에 서로 피처들의 부분 집합을 만들어 테스트 하여 최적화된 부분 집합을 선택하는 방법입니다. Wrapper Selection에는 Forward Greedy, Backward Greedy, Genetic Search, Local Search 4가지 방법이 대표적입니다. 4가지 방법에 대해 간략하게 정리해보겠습니다. 1. Forward Greedy (Forward Selection) Forward Greedy는 Forward Selection으로도 불립니다. 변수를 하나씩 추가하며 모델의 성능을 측정하며 가장 좋은 성능을 보인 변수..

차원 축소중 Feature Selection에 대해 정리보겠습니다. 1. 차원 축소를 하는 이유 차원 축소를 하는 이유는 3가지가 존재 합니다. 1. 더 나은 성능의 모델을 만들기 위해 2. 이해하기 쉬운 모델을 만들기 위해 3. 더 빠르게 실행되는 모델을 만들기 위해 차원 축소를 하는 방법은 두가지가 있는데 피처 추출(Feature Extraction)과 피처 선택(Feature Selection)이 있습니다. 이 포스팅에서는 둘 중 Feature Selection에 대해 알아보겠습니다. Feature Selection 방법에는 Filtering, Wrapper, Embedded 3가지가 있습니다. 2. Filtering Method Filtering은 사전적 의미 처럼 도움이 되지 않는 피처들을 걸러..

이 포스팅은 차원 축소 기법 중 하나인 PCA에 대해 정리하는 글입니다.개인적인 공부 내용을 남기는 글로 잘못된 점이 있다면 댓글로 알려주시면 감사하겠습니다.1. Dimension of the greatest variability PCA는 차원 축소 중 하나의 기법입니다. PCA를 알아보기 전 차원 축소의 접근 방법에 대해 먼저 생각해 보겠습니다. 시각적으로 이해하기 쉬운 2차원을 1차원으로 축소하는 예제를 같이 보시죠. 2차원의 데이터를 1차원으로 축소한다는 의미는 평면의 데이터를 선 하나로 표현한다는 의미와 같습니다. 위 그림에는 현재 2차원 데이터가 분포되어 있습니다. 이 데이터들을 1차원으로 옮기기 위해 먼저 데이터들을 가장 잘 표현하는 직선을 2개 찾았습니다. d1과 d2가 직선이 있습니다. 여..

이번 포스팅은 Dimensionality Reduction(차원 축소)에 대해 정리해보겠습니다.1. 차원 축소를 하는 이유?개와 고양이 분류 예제로 "차원 축소를 해야 하는 이유"에 대해 생각해 보겠습니다. 개와 고양이에 대한 10개의 데이터 샘플이 있다고 생각해봅시다. 이 경우 어떻게 분류할 수 있을까요? 쉽게 생각하면 두 번째 그림처럼 중간을 반을 나눠 왼쪽은 개, 오른쪽은 고양이로 분류할 수 있습니다. 하지만 이렇게 분류하게 되면 각각 양쪽에 고양이, 개가 하나씩 존재하여 완벽하게 나눠진 것처럼 보이지 않습니다. 그래서 두개를 잘 구분하기 위해 Feature 1개를 추가하여 2차원으로 구성하고 개와 고양이를 나눠 보겠습니다. Feature2를 추가하여 2차원 공간의 개와 고양이를 살펴보고 Linea..

차원의 저주 - Curse of Dimensionality에 대해 정리해보겠습니다. 1. 차원의 저주 일상적으로 경험하는 3차원 물리 공간에서 발생하지 않는 현상으로 고차원 데이터를 분석하거나 구성하는 과정에서 발생하는 다양한 현상을 말합니다. 머신러닝에서 많은 Feature를 가지고 있다는 것은 고차원 공간의 Data를 다루고 있다는 의미로 차원의 저주에 대해 생각하고 있어야 합니다. 2. 차원의 저주 현상2-1 데이터의 밀집도 (Data Density) 차원이 다르면 Data의 밀집도가 달라집니다. 위 그림은 N개의 Data를 서로 다른 차원에서 다룰때 데이터의 밀집도가 달라지는 모습을 표현하고 있습니다. - 1차원에서 데이터의 밀집도는 N/5로 하나의 큐브는 N/5 샘플을 가지게 됩니다. - 2차원..

이번 포스팅은 서포트 백터 머신에 대해 정리해보겠습니다. 머신 러닝을 공부하면서 제가 서포트 백터 머신에 대한 정리한 내용으로 잘못된 부분이 있다면 댓글로 지적해주시면 수정하겠습니다. 1. 서포트 백터 머신 서포트 백터 머신은 기계 학습 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습에 한 분야이며 주로 분류와 회귀 분석을 위해 사용합니다. 두 카테고리가 있다고 가정할때 하나의 새로운 데이터가 들어오면 어떤 카테고리에 속하는지 판단하는 비확율적 선형 모델을 만드는 것이 서포트 백터 머신 입니다. 서포트 백터 머신은 위 그림과 같이 두개의 카테고리가 나눠져 있을때 어떠한 선을 그어 두개의 분류를 가장 잘 표현하는 선이 무엇인지 찾는 방법입니다. 두 개로 나뉜 데이터가 존재할 때 초평면(Heperp..

머신러닝 알고리즘들 중 가장 심플하고 이해하기 쉬운 알고리즘인 KNN에 대해 알아보겠습니다. KNN은 최근접 이웃 알고리즘이라고도 합니다. 알고리즘의 이름 처럼 새로운 데이터를 입력 받았을 때 이 데이터와 가장 근접한 데이터들의 종류가 무엇인지 확인하고 많은 데이터의 종류로 분류하는 알고리즘입니다. Classification의 대표적인 알고리즘으로 지도 학습(supervisor Learning)에 해당합니다. KNN의 알고리즘의 정의와 Python으로 간단한 예제를 실행해볼게요. 1. KNN 알고리즘 KNN 알고리즘을 간단하게 정의 하자면 새로운 데이터와 기존 데이터들간 거리를 측정하고 가까운 데이터들의 종류가 무엇인지 확인하여 새로운 데이터의 종류를 판별하는 알고리즘입니다. 여기서 K는 인접한 데이터의..

머신러닝의 종류는 점점 더 많아지는 것 같습니다. 데이터 사이언티스트 관련 공부를 하기 위해 머신러닝의 종류 중 비지도학습과 지도학습의 차이를 정리하고 각각 어떤 종류가 대표적인지 알아보겠습니다. 1. 머신러닝 종류 머신러닝의 종류는 많은데 다음을 기준으로 분류를 하면 도움이 됩니다. 사람의 감독 하에 훈련하는 것인지 그렇지 않는 것인지 (지도, 비지도, 준지도, 강화학습) 실시간으로 점직적인 학습을 하는지 아닌지 (온라인 학습과 배치학습) 단순하게 알고 있는 데이터 포인트와 새 데이터 포인트를 비교하는 것인지 아니면 훈련 데이터셋에서 과학자들처럼 패턴을 발견하여 예측 모델을 만드는지 (사례 기반 학습과 모델 기반 학습) 3가지 범주는 원하는데로 융합이 가능합니다. 2. 지도학습 (Supervised L..

머신러닝 개발 환경을 세팅하기 위해 가장 먼저 해야 할 것은 python 개발 환경을 만드는 일 입니다. 그 중 머신러닝에 필요한 라이브러리들이 모두 집합되어 있는 아나콘다 윈도우 설치 방법을 정리해보겠습니다. 1. 아나콘다 다운로드 아나콘다는 쉽게 말해 필요한 라이브러리들을 쉽게 설치하고 관리할 수 있게 해주는 도구 입니다. Python을 사용하면 여러가지 필요한 라이브러리를 사용자가 직접 설치해야 하는데요. 아나콘다를 설치하면 머신러닝에 필요한 모든 라이브러리들을 한번에 설치가 가능합니다. 그럼 아나콘다를 설치해볼까요? https://www.anaconda.com/distribution/ Anaconda Python/R Distribution - Free Download Anaconda Distrib..