밀래의 코딩북

이 포스팅은 웹 크롤링으로 특정 태그, 클래스로 부터 값을 가져오는 방법을 정리하는 포스팅입니다. 1. python으로 웹 크롤링하는 방법 웹 크롤링이 필요할 때 python을 많이 사용합니다. 그 이유는 쉽고 빠르게 웹 크롤링할 수 있는 BeautifulSoup 라이브러리가 있어서 인데요. BeautifulSoup를 사용하여 간단히 웹 크롤링하는 방법을 알아보겠습니다. Beautiful Soup는 Anaconda를 이용하여 Python을 설치하셨다면 기본적으로 설치되어있습니다. 만약, Anaconda 환경이 아니라면 아래 명령어로 Beautiful Soup를 설치해주세요. pip install beautifulsoup4 BeautifulSoup는 HTML 페이지의 웹소스를 쉽게 파싱 할 수 있도록 도와..

오늘은 개발자의 일상을 포스팅해 보도록 하겠습니다. 평소에 프로그래머스를 이용하여 공부하고 있는데 재밌는 서비스와 챌린지가 있어 소개해드리겠습니다. 1. 웹 VSCode와 404 머쓱 챌린지! 평소에 집에서 공부할 때 VSCode를 사용합니다. 이 VSCode를 웹에서 사용할 수 있는 기능을 프로그래머스에서 오픈했다고 하여 웹 VSCode를 경험해볼 겸 챌린지에 참여했습니다. 챌린지 이름은 404 머쓱; Not Found Chanllenge입니다. 우선 프로그래머스에 접속해서 챌린지에 참여하니 웹 VSCode를 만나볼 수 있었습니다. 웹 VSCode라고 하는데 윈도우에서 보는 VSCode와 너무 똑같았습니다. 과제는 머쓱이를 이용해서 404 Not Found 페이지를 꾸미는 일이었습니다. 머쓱이가 누구냐..

요즘 Jupyter를 제대로 활용하기 위해 단축키를 익히고 있습니다. 단축키를 활용하면 생산성이 향상됩니다. 아래 단축키 정리를 확인하시고 생산성을 올려보세요!! 1. Jupter Notebook 단축키 확인하기 Jupyter Notebook 내에서 단축키 확인할 수 있습니다. 단축키 모음 확인은 H를 누르시면 아래 화면을 확인할 수 있습니다. 2. Jupter Notebook 단축키 목록 단축키 목록을 확인하세요. Command Mode (press Esc to enable)Edit Shortcuts F: find and replace ↩: enter edit mode ⌘⇧F: open the command palette ⌘⇧P: open the command palette P: open the com..

네이버 스토어에서 상품의 타이틀을 가져오는 함수를 가져와 출력하는 함수를 만들어 보겠습니다. 1. 태그의 클래스 값만 가져오는 함수. 태그의 지정된 클래스 값을 가져오는 함수를 만들어 보겠습니다. from urllib.request import urlopen from bs4 import BeautifulSoup 웹 크롤링을 위해 가장 기본이 되는 라이브러리를 불러오겠습니다. 간략하게 설명하면 urlopen은 url 페이지의 html 코드를 가져오는 라이브러리이고 BeautifulSoup는 html 문서를 파싱해 데이터를 쉽게 가져올 수 있도록 도와주는 라이브러리입니다. def getClassValue(url, tag, className) : html = urlopen(url) bsObject = Beau..

mongDB를 사용하여 개인 프로젝트를 자주 진행합니다. 그때마다 로컬에 설치하거나 서버에 mongoDB를 설치해서 사용하기에는 여러 가지 문제점이 많습니다. 그때마다 저는 mlab에 무료로 제공하는 MongoDB를 사용합니다. 개인 프로젝트나 공부하는 용량에는 충분한 MongoDB를 제공하는데요. 무료로 사용 할 수 있는 mlab의 MongoDB를 소개할게요. 1. mlab https://mlab.com/ mlab은 MongoDB를 클라우드 서비스하는 업체로 Daas라고 소개합니다. Daas는 Database-as-a-Service 약자입니다. 어플리케이션을 서비스하기 위한 DB 구조가 필요하다면 비용을 지불하고 DaaS를 이용해야 하지만 일반적인 공부에 필요한 MongoDB라면 무료로 사용합니다. 데..

이 포스팅은 개인적은 공부를 남기는 포스팅입니다. 잘못된 부분이 있다면 댓글로 알려주시면 감사합니다. Wrapper Selection은 Feature Selection에 예측 모델에 서로 피처들의 부분 집합을 만들어 테스트 하여 최적화된 부분 집합을 선택하는 방법입니다. Wrapper Selection에는 Forward Greedy, Backward Greedy, Genetic Search, Local Search 4가지 방법이 대표적입니다. 4가지 방법에 대해 간략하게 정리해보겠습니다. 1. Forward Greedy (Forward Selection) Forward Greedy는 Forward Selection으로도 불립니다. 변수를 하나씩 추가하며 모델의 성능을 측정하며 가장 좋은 성능을 보인 변수..

np.save(filename, arr, allow-pickle=True, fix_import=True) 이 포스팅은 numpy에서 파일을 읽고 쓰는 방법을 정리합니다. 1. savetxt - 파일 저장하기 numpy에서 파일을 쓰기 위한 함수입니다. numpy.savetxt( filename, X, fmt='%.18e', delimiter=' ', newline='n', header='', footer='', comment='#', encoding=None) 간단히 사용하려면 아래 항목만 넣어 사용합니다. numpy.savetxt({파일이름}, {데이터}, fmt={데이터 형식}, delimiter={데이터간 구분자}) 사용방법 (jupyter에서 출력을 확인해보세요) import numpy as np..

차원 축소중 Feature Selection에 대해 정리보겠습니다. 1. 차원 축소를 하는 이유 차원 축소를 하는 이유는 3가지가 존재 합니다. 1. 더 나은 성능의 모델을 만들기 위해 2. 이해하기 쉬운 모델을 만들기 위해 3. 더 빠르게 실행되는 모델을 만들기 위해 차원 축소를 하는 방법은 두가지가 있는데 피처 추출(Feature Extraction)과 피처 선택(Feature Selection)이 있습니다. 이 포스팅에서는 둘 중 Feature Selection에 대해 알아보겠습니다. Feature Selection 방법에는 Filtering, Wrapper, Embedded 3가지가 있습니다. 2. Filtering Method Filtering은 사전적 의미 처럼 도움이 되지 않는 피처들을 걸러..

이 포스팅은 차원 축소 기법 중 하나인 PCA에 대해 정리하는 글입니다.개인적인 공부 내용을 남기는 글로 잘못된 점이 있다면 댓글로 알려주시면 감사하겠습니다.1. Dimension of the greatest variability PCA는 차원 축소 중 하나의 기법입니다. PCA를 알아보기 전 차원 축소의 접근 방법에 대해 먼저 생각해 보겠습니다. 시각적으로 이해하기 쉬운 2차원을 1차원으로 축소하는 예제를 같이 보시죠. 2차원의 데이터를 1차원으로 축소한다는 의미는 평면의 데이터를 선 하나로 표현한다는 의미와 같습니다. 위 그림에는 현재 2차원 데이터가 분포되어 있습니다. 이 데이터들을 1차원으로 옮기기 위해 먼저 데이터들을 가장 잘 표현하는 직선을 2개 찾았습니다. d1과 d2가 직선이 있습니다. 여..

백준 알고리즘 문제 1922 문제를 정리하는 포스팅입니다. 최적의 코드가 아니니 해당 코드는 참고만 하시기 바랍니다. 1. 최소신장트리 ( Minimum Spanning Tree ) 이 문제는 최소 신장 트리 문제입니다. 최소 신장 트리(MST)는 그래프 알고리즘 중 하나 입니다. 최소 신장 트리(MST)는 Kruskal 알고리즘과 Prim 알고리즘이 있습니다. 이 문제는 Kruskal 알고리즘 문제로 다음과 같이 생각해볼 수 있습니다. 그래프의 간선들을 가중치의 오름차순으로 정렬한다. 정렬된 간선 리스트에서 순서대로 사이클이 생기지 않는 간선을 선택합니다. - 비용이 낮은 순서로 간선을 선택합니다. - 사이클이 생성되지 않는다 함은 노드-1개의 간선을 선택한다는 의미 입니다. 선택된 간선을 현재 MST..