SEO 가이드
robots.txt란? 검색엔진이 사이트를 읽기 전에 확인하는 파일
정의
robots.txt는 검색엔진 크롤러가 어떤 경로를 방문해도 되는지 안내하는 규칙 파일입니다.
왜 중요한가
- 크롤러 접근을 잘못 막으면 중요한 페이지가 검색에 노출되지 않습니다.
- 의도하지 않은 차단은 색인 감소와 트래픽 하락으로 바로 이어질 수 있습니다.
- 사이트 개편/배포 시 robots 규칙 점검은 필수 검증 항목입니다.
주요 원인/항목
- Disallow / Allow 규칙과 대상 User-agent를 명확히 분리합니다.
- 잘못 설정하면 상품/카테고리/콘텐츠 페이지 전체가 크롤링에서 제외될 수 있습니다.
- 작성 예시: User-agent: * / Disallow: /admin / Allow: / / Sitemap: https://example.com/sitemap.xml
사이트닥터 리포트에서는 이렇게 보입니다
- 우선순위
- 매우높음
- 영향 범위
- Disallow: / 규칙으로 전체 차단
- 확인 신호
- robots.txt 전체 Disallow 사이트맵은 제출됨 색인 수 급감
- 권장 조치
- 차단 규칙을 즉시 수정하고 핵심 경로의 접근 허용 여부를 재검증합니다.
확인 방법
- 1 robots.txt 파일을 직접 열어 차단 규칙이 의도와 일치하는지 확인합니다.
- 2 Search Console robots 테스트 도구로 주요 URL 접근 허용 여부를 검증합니다.
- 3 사이트닥터 리포트에서 크롤링 차단 신호와 색인 상태를 함께 점검합니다.
SEO 문제, 직접 찾지 마세요
URL 하나면 바로 찾아드립니다
무엇이 문제인지, 어디부터 고쳐야 하는지 무료로 확인할 수 있습니다.
전체 사이트 진단 대시보드 59,000원 34,900원
한 달간 매일 1회 재진단 · 1회 결제 · 자동 반복 결제 없음