X-Robots-Tag noindex 점검 가이드

Problem

검색엔진에 노출되어야 하는 페이지인데 X-Robots-Tag: noindex 때문에 색인이 막힙니다.

Symptoms

• HTTP Check 결과에서 X-Robots-Tag가 noindex로 표시됩니다.
• 페이지는 정상 렌더링되지만 검색 결과에 노출되지 않습니다.
• 일부 경로나 특정 응답에서만 검색 제외가 적용됩니다.

Top 3 Causes

1. 웹 서버 또는 CDN 헤더 주입 - nginx, CDN rule, edge function이 noindex를 추가합니다.
2. 애플리케이션 로직 - staging/preview 조건이 production에도 남아 있습니다.
3. 경로별 예외 정책 - 특정 파일 형식, 디렉터리, 상태 코드 응답에만 noindex가 붙습니다.

Diagnose with DechoNet

• HTTP Check로 실제 응답 헤더와 최종 경로를 확인합니다.

Resolution Checklist

• X-Robots-Tag가 웹 서버, CDN, 앱 중 어디서 생성되는지 확인합니다.
• preview/staging 전용 noindex 로직이 production에 남아 있지 않은지 검토합니다.
• 경로별 rewrite 또는 헤더 정책이 특정 응답에만 붙는지 확인합니다.
• 수정 후 HTTP Check로 X-Robots-Tag가 정상화됐는지 검증합니다.
• 이후 검색엔진 재크롤까지 시간을 고려해 모니터링합니다.

When to Escalate

• 헤더가 여러 계층에서 중복 삽입되면 웹 서버 담당자와 CDN 담당자가 같이 봐야 합니다.
• SEO 운영 중인 환경이라면 색인 정책 변경 전에 콘텐츠/SEO 담당자와 합의가 필요합니다.