백앤드·배치App2 재해위험지구 웹사이트 크롤링 - 크롬드라이버 사용 재해위험지구관련 데이터를 가져오기 위해 만든 크롤링 소스로 크롬드라이버를 사용하였음. 1페이지부터 72페이지를 순환하면서 페이지 셀렉터를 클릭하고 각 지구, 지역, 유형, 날짜드의 값 목록 10개를 셀렉팅해서 리스트에 채우고 판다스 데이터프레임에 담고 최종 csv로 리턴하는 소스임. 크롬드라이버 위치 - D:/chromedriver/chromedriver.exe import requests from selenium import webdriver from time import sleep import pandas as pd url = 'https://www.safekorea.go.kr/idsiSFK/neo/sfk/cs/sfc/fcl/riskUserList.html?menuSeq=314' path = 'D:/.. 백앤드·배치App 2023. 1. 28. data.go.kr에서 버스정류장 정보 가져오기 예제 버스정류장 정보를 가져올 일이 있어서 data.go.kr에 가입하고 해당 정보 사용 신청후 서비스용키를 받아서 간단히 구현하였다. 전국 시도, 시군구 코드를 미리 배열로 만들어 순차 대입해서 csv파일로 저장했다. 필요한 라이브러리를 임포트하고 import requests import json import csv response = requests.get(url) data = response.json() request 객체를 사용해서 url로 정보를 가져와 response로 저장하고 json()매서드로 json데이터를 받아서 원하는 위치의 데이터를 잘라내어 csv로 전환한다. import requests import json import csv all_links = [ '12', '22', '23', '.. 백앤드·배치App 2023. 1. 27. 이전 1 다음 반응형