🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!
이 번역은 AI가 원문 README를 옮긴 것입니다. 원문이 항상 우선합니다.
Scrapling은 단일 요청부터 전체 크롤링까지 모든 것을 처리하는 적응형 웹 스크래핑 프레임워크입니다. 파서는 웹사이트 변경 사항을 학습하고 페이지가 업데이트될 때 자동으로 요소를 재배치합니다. 페처(Fetcher)는 Cloudflare Turnstile과 같은 안티봇 시스템을 기본적으로 우회합니다. 스파이더 프레임워크를 사용하면 일시 중지/재개 및 자동 프록시 로테이션을 지원하는 동시 다중 세션 크롤링으로 확장할 수 있습니다. 단 몇 줄의 Python 코드로 가능합니다. 하나의 라이브러리로 모든 것을 해결합니다. 실시간 통계 및 스트리밍을 통한 초고속 크롤링을 제공합니다. 웹 스크래퍼와 일반 사용자를 위해 설계되었습니다.
from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher, DynamicFetcher
StealthyFetcher.adaptive = True
p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # 웹사이트를 눈에 띄지 않게 가져오기!
products = p.css('.product', auto_save=True) # 웹사이트 디자인 변경에도 살아남는 데이터 스크래핑!
products = p.css('.product', adaptive=True) # 나중에 웹사이트 구조가 변경되면 `adaptive=True`를 전달하여 요소를 찾으세요!또는 전체 크롤링으로 확장:
from scrapling.spiders import Spider, Response
class MySpider(Spider):
name = "demo"
start_urls = ["https://example.com/"]
async def parse(self, response: Response):
for item in response.css('.product'):
yield {"title": item.css('h2::text').get()}
MySpider().start()scrapling20으로 20% 할인.