목록웹크롤링 (1)

AR삽질러

Python - 웹 크롤링

웹 크롤링 웹(WWW, Web)에 있는 데이터들을 가져오는 기술을 크롤링이라고 한다. 웹 페이지들은 하이퍼링크를 이용하여 하이퍼텍스트 공간을 자유롭게 이동할 수 있다. 이렇게 웹에 연결된 문서들로부터 필요한 정보를 자동, 반자동으로 수집하는 것을 웹크롤링(Web Crawling)이라고 한다. 이때 수집하는 역할을 처리하는 컴퓨터 프로그램을 웹크롤러, 웹봇 등 다양한 이름으로 불린다. 웹 페이지의 HTML구조를 분석하여 (HTML 파싱) 필요한 정보만을 추출할 수 있는데 이 때 유용하게 사용하는 라이브러리가 BeautifulSoup이다. 이 라이브러리 설치 명령은 "pip install beautifulsoup4"이다. 1. 투믹스 웹툰 제목 가져오기 import requests from bs4 impor..
Python 2023. 12. 9. 14:46
이전 Prev 1 Next 다음