[Python/Crawling] Urillib - 웹 페이지 요청

Urlib이란?

Urllib 라이브러리는 URL을 조작하여 웹과 관련된 데이터를 쉽게 이용하게 도와주는 라이브러리이다.

웹 페이지 요청하기

아래 코드는 request 모듈을 사용하여 웹 페이지를 요청 후 응답을 받아 응답 에서 데이터를 추출하는 코드이다.
해당 코드에 사용된 중요한 함수는 아래 표와 같다.

from urllib.request import urlopen  # 웹 페이지 요청 req = urlopen("http://www.hanbit.co.kr/store/books/full_book_list.html")  # HTTP 헤더와 인코딩 추출 header = req.info() encoding = req.info().get_content_charset(failobj="utf-8")  # 추출한 인코딩으로 응답을 디코딩하여 출력 html = req.read().decode(encoding) print("[ Header ]\n", header) print("[ Encoding ] \n", encoding, "\n") print("[ HTML ] \n", html)

 

해당 코드를 실행 시킨 결과는 아래 사진과 같이 웹 페이지 요청에 대한 응답 헤더, 인코딩, HTML 소스코드를 볼 수 있다.