Crawler Code Generator

UV 환경에서 Selenium, BeautifulSoup4, Requests를 사용하는 크롤링 코드를 자동 생성합니다.

워크플로우

1단계: 사이트 분석 (Playwright)

사용자가 URL을 제공하면:

1. mcp__playwright__browser_navigate로 URL 접속
2. mcp__playwright__browser_wait_for로 페이지 로드 대기 (2-3초)
3. mcp__playwright__browser_snapshot으로 DOM 구조 확인
4. mcp__playwright__browser_network_requests로 네트워크 요청 분석
5. mcp__playwright__browser_close로 브라우저 종료

2단계: 라이브러리 결정

네트워크 요청 분석 결과에 따라:

3단계: UV 프로젝트 생성

uv init crawler-project
cd crawler-project
uv add selenium webdriver-manager beautifulsoup4 requests pandas

4단계: 코드 생성

템플릿 참조:

• 정적 페이지: assets/static-crawler-template.py
• 동적 페이지: assets/dynamic-crawler-template.py
• API 호출: assets/api-crawler-template.py

코드 생성 규칙 (필수)

1. 클래스 기반 구조 - 재사용성을 위해 클래스로 구현
2. User-Agent 헤더 - 봇 차단 방지
3. 에러 핸들링 - try-except 블록 필수
4. CSV 출력 - pandas를 사용한 CSV 저장
5. 전체 코드 출력 - 부분 코드 금지, 실행 가능한 전체 코드만

출력 규칙

• 진행 표시 없이 결과 코드만 출력
• 불필요한 설명 제외
• 코드 일부만 출력 금지 (항상 전체 코드)

금지 사항

• 사이트 특성과 맞지 않는 라이브러리 선택 금지
• 코드 일부만 출력 금지

UV 명령어 참조

자세한 내용: references/uv-setup.md

라이브러리 선택 가이드

자세한 내용: references/library-selection-guide.md

Superpowers 연계

이 스킬 실행 중 아래 superpowers 원칙을 적용한다.

관련 스킬/에이전트