any4ai/AnyCrawl

개요

AnyCrawl은 고성능 크롤링 및 스크래핑 툴킷입니다:

• SERP 크롤링: 여러 검색 엔진, 배치 작업에 적합
• 웹 스크래핑: 단일 페이지 콘텐츠 추출
• 사이트 크롤링: 전체 사이트 탐색 및 수집
• 고성능: 멀티스레딩 / 멀티프로세스
• 배치 작업: 안정적이고 효율적
• AI 추출: LLM 기반 구조화된 데이터(JSON) 추출

LLM 친화적입니다. 통합 및 사용이 쉽습니다.

빠른 시작

📖 전체 문서 보기: Docs

API 키 생성 (자체 호스팅)

인증을 활성화한 경우(ANYCRAWLAPIAUTH_ENABLED=true), API 키를 생성합니다:

pnpm --filter api key:generate
# 선택적으로 키 이름 지정
pnpm --filter api key:generate -- default

명령어는 uuid, 키 및 크레딧을 출력합니다. 출력된 키를 Bearer 토큰으로 사용하세요.

Docker 내에서 실행

Docker를 통해 AnyCrawl을 실행하는 경우:

• Docker Compose:

docker compose exec api pnpm --filter api key:generate
docker compose exec api pnpm --filter api key:generate -- default

• 단일 컨테이너 (컨테이너 이름 또는 ID로 대체):

docker exec -it <container_name_or_id> pnpm --filter api key:generate
docker exec -it <container_name_or_id> pnpm --filter api key:generate -- default

사용 예제

💡 Playground를 사용하여 API를 테스트하고 원하는 언어로 코드를 생성하세요.

자체 호스팅하는 경우 https://api.anycrawl.dev를 자신의 서버 URL로 바꾸세요.

웹 스크래핑 (Scrape)

예제

curl -X POST https://api.anycrawl.dev/v1/scrape \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
  -d '{
  "url": "https://example.com",
  "engine": "cheerio"
}'

매개변수

더 많은 매개변수: Request Parameters 참조.

캐시 세부 정보 (자체 호스팅 / S3 / 맵 인덱스): docs/cache.md 참조.

LLM 추출

curl -X POST "https://api.anycrawl.dev/v1/scrape" \
  -H "Authorization: Bearer YOUR_ANYCRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "json_options": {
      "schema": {
        "type": "object",
        "properties": {
          "company_mission": { "type": "string" },
          "is_open_source": { "type": "boolean" },
          "employee_count": { "type": "number" }
        },
        "required": ["company_mission"]
      }
    }
  }'

Atlas Cloud 제공자

AnyCrawl은 추출 및 요약 작업을 위해 Atlas Cloud를 OpenAI 호환 LLM 제공자로 지원합니다.

• 공식 사이트: Atlas Cloud
• LLM 기본 URL: https://api.atlascloud.ai/v1
• 권장 환경 모델 형식: atlascloud/deepseek-v3

ATLASCLOUD_BASE_URL=https://api.atlascloud.ai/v1
ATLASCLOUD_API_KEY=your-atlascloud-api-key
DEFAULT_LLM_MODEL=atlascloud/deepseek-v3
DEFAULT_EXTRACT_MODEL=atlascloud/deepseek-v3

파일 기반 AI 구성을 선호하는 경우, ai.config.json에 atlascloud 제공자 항목을 추가하고 OpenAI 호환 채팅 API를 통해 노출되는 모든 Atlas Cloud 모델에 매핑하세요.

사이트 크롤링 (Crawl)

예제

curl -X POST https://api.anycrawl.dev/v1/crawl \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
  -d '{
  "url": "https://example.com",
  "engine": "playwright",
  "max_depth": 2,
  "limit": 10,
  "strategy": "same-domain"
}'

매개변수

더 많은 매개변수 및 엔드포인트: Request Parameters 참조.

검색 엔진 결과 (SERP)

예제

curl -X POST https://api.anycrawl.dev/v1/search \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer YOUR_ANYCRAWL_API_KEY' \
  -d '{
  "query": "AnyCrawl",
  "limit": 10,
  "engine": "google",
  "lang": "all"
}'

매개변수

지원되는 검색 엔진

• Google

FAQ

1. 프록시를 사용할 수 있나요? 네. AnyCrawl은 고품질 기본 프록시와 함께 제공됩니다. 또한 자체 프록시를 구성할 수 있습니다: proxy 요청 매개변수 (요청별) 또는 ANYCRAWLPROXYURL (자체 호스팅)을 설정하세요.
2. JavaScript 렌더링 페이지를 어떻게 처리하나요? Playwright 또는 Puppeteer 엔진을 사용하세요.

기여

기여를 환영합니다! 기여 가이드를 참조하세요.

후원자

월간 기부로 활동을 지원해 주세요. [후원자가 되기]

라이선스

MIT 라이선스 — LICENSE 참조.

미션

우리는 AI 생태계를 위한 간단하고 신뢰할 수 있으며 확장 가능한 도구를 구축합니다.