셀레니움 없이도 충분해! 2025년 크롤링 스택 가이드(Playwright, httpx, Scrapy 등 완전 정리)
“Selenium(셀레니움) + chromedriver.exe 없이도 크롤링, 잘 됩니다.”목적(정적/동적/규모)에 맞춰 Playwright, httpx + 파서(selectolax/BS4), **Scrapy(+scrapy-playwright)**를 조합하면 더 빠르고, 더 안정적이고, 운영도 쉬워집니다.TL;DR정적 페이지(내부 JSON 포함): httpx + selectolax (또는 BeautifulSoup, lxml) → 가장 빠르고 가벼움JS 렌더링 필요: Playwright (셀레니움 대체 1순위, 드라이버 관리 X, autowait O)대규모/파이프라인: Scrapy + (JS 필요한 페이지만) scrapy-playwright레거시/멀티언어 테스트 자산: Selenium 4(=Selenium..
2025. 8. 28.
Playwright vs Selenium : 기존 셀러리움 사용 이유와 비교
이미 Playwright가 좋은데, 왜 아직도 Selenium + chromedriver를 쓰는가?1. 역사와 생태계Selenium은 2004년부터 존재 → 웹 테스트 자동화 사실상 표준으로 자리 잡음.QA 팀, CI 도구, 테스트 프레임워크(PyTest, JUnit, NUnit 등)와의 풍부한 통합 경험이 축적됨.오랫동안 써 온 조직은 *“새로운 걸 도입할 이유가 없다”*고 느끼기도 해요.2. 언어 지원 폭Selenium: Python, Java, C#, Ruby, JavaScript, PHP 등 거의 모든 주요 언어 지원Playwright: Python, Java, C#, JavaScript/TypeScript 정도👉 기업용 프로젝트에서 다양한 언어를 쓰는 경우 Selenium이 유리합니다.3. 호..
2025. 8. 28.