User-agent: OAI-SearchBot Allow: / Disallow: /api/ User-agent: GPTBot Allow: / Disallow: /api/ User-agent: ChatGPT-User Allow: / Disallow: /api/ User-agent: Googlebot Allow: / Disallow: /api/ # Google Gemini 학습 신호 — Googlebot 과 별도 토글로 분리됨. User-agent: Google-Extended Allow: / Disallow: /api/ # Naver — 한국 검색 트래픽 30%+ 를 차지. Yeti 가 표준 크롤러, NaverBot 은 레거시이지만 # Naver Search Advisor 가 양쪽 모두 권장. 둘 다 명시해 누락 신호 없게 한다. User-agent: Yeti Allow: / Disallow: /api/ User-agent: NaverBot Allow: / Disallow: /api/ # Anthropic (Claude) — 검색·학습용 user-agent 두 종류 모두 명시. User-agent: ClaudeBot Allow: / Disallow: /api/ User-agent: anthropic-ai Allow: / Disallow: /api/ # Perplexity AI 검색 User-agent: PerplexityBot Allow: / Disallow: /api/ # Common Crawl — 다수 오픈소스 LLM 의 학습 코퍼스 소스 User-agent: CCBot Allow: / Disallow: /api/ # Apple AI 학습 (Apple Intelligence 학습 데이터). Applebot 검색 봇과 별개로 분리됨. User-agent: Applebot-Extended Allow: / Disallow: /api/ # Meta AI (Llama 류 학습·라이브 콘텐츠 인덱싱) User-agent: Meta-ExternalAgent Allow: / Disallow: /api/ # ByteDance (TikTok/Doubao 등) AI 학습 크롤러 User-agent: Bytespider Allow: / Disallow: /api/ User-agent: * Allow: / Disallow: /api/ # 2026-04 mass purge 로 제거된 기능 경로 — 410 으로 응답하지만 크롤 예산 절약 차원에서 차단. # practice/urls.py 의 _REMOVED_FEATURE_PREFIXES 와 1:1 동기화 (회귀 테스트로 강제). # 폐기 패턴 추가 시: prefix는 단순 형태로, regex named-group 패턴은 와일드카드로 적는다. Disallow: /worldcups/ Disallow: /exams/ Disallow: /study-groups/ Disallow: /scrap/ Disallow: /focus-timer/ Disallow: /follow/ Disallow: /users/*/followers/ Disallow: /users/*/following/ Disallow: /marketplace/purchase/ # Swift iOS 앱 웹 에뮬레이터 (2026-11-17 폐기, React Native 앱으로 교체) Disallow: /ios-emulator/ # 북스에서 내린 책 (2026-11-07, books/retired.py). pandas 입문은 301 이라 막지 않는다. Disallow: /books/excel-functions-from-principles/ Disallow: /books/excel-formula-exercises/ Disallow: /books/opic-speaking-patterns/ # 폴더 공개 라우트(2026-05 폐기). 운영진/본인 외 접근 시 410 으로 응답하지만 # 크롤러가 헛걸음하지 않도록 명시적으로 차단. Disallow: /c/ Sitemap: https://wequiz.org/sitemap.xml # Built-in AI generation removed on 2026-11-16 Disallow: /workbooks/*/ai/