코딩걸음마

Selenium은 현존하는 크롤러중 가장 강력한 크롤러임이 틀림없다. 배워두면 언젠가는 써먹을 데가 있다. 이전 버전까지는 chromedriver 설치 및 복잡한 과정이 있었지만 이제 그런 걱정도 사라져서 정말 필수 모듈이 아닌가 싶다. 준비 !pip install chromedriver_autoinstaller !pip install selenium #Step 0. 필요한 모듈과 라이브러리를 로딩합니다. import sys # 시스템 import os # 시스템 import pandas as pd # 판다스 : 데이터분석 라이브러리 import numpy as np # 넘파이 : 숫자, 행렬 데이터 라이브러리 import chromedriver_autoinstaller from bs4 import Be..

1) 출력 데이터 확인 및 결정 (출력 변수 확인) 공공데이터는 생각보다(?) 순순하게 정보를 주지 않더군요 크롤링 코드를 한줄씩 쓰면서 머리를 많이 굴렸습니다. 마이페이지 에 들어가서 승인받은 데이터를 클릭한 후 상세설명을 클릭합니다. 아래로 내리다 보면 나오는 리스트를 보면 다양한 정보에 대한 출력변수를 알 수 있습니다. 모든 데이터를 편하게 요청하기 위해 하나의 csv 또는 xlsx 파일을 하나 만들어서 출력변수를 한번에 요청하는 방법을 사용하겠습니다. 위 영역의 데이터를 긁어 엑셀을 열고, 하나의 엑셀파일에 붙여넣기 해주세요 요청변수 엑셀파일을 정리하여 요청리스트로 정리합니다. (1) 소문자로 전처리 출력변수 설명에는 Camel 표기법으로 되어있지만, 실제 입력 시에는 모두 소문자로 입력을 해야합..

네이버 금융에서는 테마별 종목을 관리한다. https://finance.naver.com/sise/theme.naver 테마별 시세 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 테마별 수익률을 제공해주기도 하고, 테마 내 종목별 시세를 알려주기도 한다. 이 리스트를 분석에 활용하기 위해 테마별 종목 리스트를 크롤링 해보기로 했다. import time import pandas as pd import requests from bs4 import BeautifulSoup import numpy as np import re #크롤링 차단 막기 seed = np.random.randint(100) np.random.seed(seed) r = np.random..