밀래의 코딩북

이번 포스팅은 Dimensionality Reduction(차원 축소)에 대해 정리해보겠습니다.1. 차원 축소를 하는 이유?개와 고양이 분류 예제로 "차원 축소를 해야 하는 이유"에 대해 생각해 보겠습니다. 개와 고양이에 대한 10개의 데이터 샘플이 있다고 생각해봅시다. 이 경우 어떻게 분류할 수 있을까요? 쉽게 생각하면 두 번째 그림처럼 중간을 반을 나눠 왼쪽은 개, 오른쪽은 고양이로 분류할 수 있습니다. 하지만 이렇게 분류하게 되면 각각 양쪽에 고양이, 개가 하나씩 존재하여 완벽하게 나눠진 것처럼 보이지 않습니다. 그래서 두개를 잘 구분하기 위해 Feature 1개를 추가하여 2차원으로 구성하고 개와 고양이를 나눠 보겠습니다. Feature2를 추가하여 2차원 공간의 개와 고양이를 살펴보고 Linea..

차원의 저주 - Curse of Dimensionality에 대해 정리해보겠습니다. 1. 차원의 저주 일상적으로 경험하는 3차원 물리 공간에서 발생하지 않는 현상으로 고차원 데이터를 분석하거나 구성하는 과정에서 발생하는 다양한 현상을 말합니다. 머신러닝에서 많은 Feature를 가지고 있다는 것은 고차원 공간의 Data를 다루고 있다는 의미로 차원의 저주에 대해 생각하고 있어야 합니다. 2. 차원의 저주 현상2-1 데이터의 밀집도 (Data Density) 차원이 다르면 Data의 밀집도가 달라집니다. 위 그림은 N개의 Data를 서로 다른 차원에서 다룰때 데이터의 밀집도가 달라지는 모습을 표현하고 있습니다. - 1차원에서 데이터의 밀집도는 N/5로 하나의 큐브는 N/5 샘플을 가지게 됩니다. - 2차원..

이번 포스팅은 numpy의 boolean index, fancy index에 대해 정리글 입니다. 아래 참고 사이트 목록의 유튜브 영상을 참조하여 남깁니다. 1. boolean index numpy는 배열은 특정 조건에 따른 값을 배열 형태로 추출 할 수 있습니다. 비교 연산 함수 들도 모두 사용이 가능합니다. import numpy as np; test_array = np.array([1,4,0,2,3,8,9,7], float) # 조건에 맞으면 ture, 틀리면 false의 배열을 출력 test_array > 3 # 조건이 true인 index의 element만 추출 test_array[test_array>3] # 조건에 맞는것만 추출한다. condition = test_array 25 B # 0,1..

numpy에서 많이 사용하는 where, argmax, argmin에 대해 정리해보겠습니다. 아래 코드들은 jupyter를 활용하여 순서대로 실행해보세요. 1. numpy array 값 비교 numpy는 배열요소 그대로 비교 작업이 가능합니다. import numpy as np; a = np.arange(10) a a > 5 -- 출력 -- array([False, False, False, False, False, False, True, True, True, True]) 배열과 숫자를 비교하면 각각의 요소와 비교한 결과가 Array 형태로 출력됩니다. sum(a>5) -- 출력 -- 4 그래서 비교한 값을 sum으로 계산하면 True가 몇 개인지 확인할 수 있습니다. any any는 array 요소들 중..

Node.js를 서버를 운영하게 되면 고민되는 문제가 있습니다. 첫번째로 Node.js는 싱글 쓰레드로 동작하고 CPU의 단일 코어를 사용하기 때문에 멀티 코어 CPU를 사용하면 성능이 원하는 만큼 높아지지 않습니다. 두번째로는 서버에 에러가 발생 했을때 프로세스가 죽게 되어 서비스가 중단되게 됩니다. 이러한 문제들을 해소하기 위해 여러가지 관리 도구 들이 나왔는데 PM2도 Node.js의 프로세스를 관리하는 도구중 하나 입니다. 이 포스팅에서는 PM2를 설치하고 기본적으로 알아야할 PM2의 기능들을 저리해 보겠습니다. 1. 설치PM2 사용하려면 먼저 설치해 주어야 합니다. 기본적으로 node와 npm이 설치되어야 합니다.설치는 npm or yarn 을 활용하여 간단히 설치 할 수 있습니다. 다음 명령어..

이번 포스팅은 서포트 백터 머신에 대해 정리해보겠습니다. 머신 러닝을 공부하면서 제가 서포트 백터 머신에 대한 정리한 내용으로 잘못된 부분이 있다면 댓글로 지적해주시면 수정하겠습니다. 1. 서포트 백터 머신 서포트 백터 머신은 기계 학습 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습에 한 분야이며 주로 분류와 회귀 분석을 위해 사용합니다. 두 카테고리가 있다고 가정할때 하나의 새로운 데이터가 들어오면 어떤 카테고리에 속하는지 판단하는 비확율적 선형 모델을 만드는 것이 서포트 백터 머신 입니다. 서포트 백터 머신은 위 그림과 같이 두개의 카테고리가 나눠져 있을때 어떠한 선을 그어 두개의 분류를 가장 잘 표현하는 선이 무엇인지 찾는 방법입니다. 두 개로 나뉜 데이터가 존재할 때 초평면(Heperp..