글은 분명히 올렸는데 사이트 이름을 붙여 검색해도 그 글이 나오지 않습니다. 하루 이틀 기다려 보고 그래도 안 나오면 외주사에 연락하게 됩니다. 돌아오는 답은 대개 "색인 요청 넣어 두었습니다" 한 줄입니다.
그런데 Search Console의 페이지 색인 생성 보고서를 열어 보면 원인이 어느 쪽인지 꽤 정확하게 갈립니다. 설정을 고쳐야 하는 문제와 글을 다시 써야 하는 문제는 보고서에 전혀 다른 이름으로 찍히기 때문입니다.
이름이 비슷한 두 상태가 첫 갈림길입니다
보고서의 '색인이 생성되지 않음' 목록에는 거의 같아 보이는 두 항목이 있습니다. '발견됨 - 현재 색인이 생성되지 않음'과 '크롤링됨 - 현재 색인이 생성되지 않음'입니다.
구글 도움말은 앞의 것을 "페이지를 발견했지만 페이지가 아직 크롤링되지 않았습니다"로, 뒤의 것을 "페이지를 크롤링했지만 색인은 생성되지 않았습니다"로 설명합니다. 가져갔느냐 아직 안 가져갔느냐가 갈리는 지점입니다.
아직 가져가지 않은 글을 다시 쓰는 것은, 읽지도 않은 사람에게 설명을 고쳐 말하는 일입니다.
'발견됨'이면 글이 아니라 통로를 의심하세요
발견은 됐는데 크롤링이 안 됐다는 것은 구글이 주소는 알고 있다는 뜻입니다. 도움말은 사이트에 부하를 주지 않으려고 크롤링을 미루는 경우를 대표적인 이유로 듭니다. 글 내용은 아직 평가 대상이 되지도 않은 상태입니다.
그래서 이 상태에서 볼 것은 서버 응답 속도, 사이트맵에 그 주소가 실제로 들어 있는지, 다른 페이지에서 그 글로 연결되는 링크가 있는지입니다. 구글은 사이트맵이나 색인 요청을 제출한 뒤 최소 일주일은 기다려 보라고 안내합니다. 발행 사흘 만에 외주사를 부르는 것은 이릅니다.
'크롤링됨'이면 글을 다시 봐야 하는 신호입니다
크롤링까지 됐다면 통로는 열려 있습니다. 구글이 페이지를 가져가서 보고도 검색에 넣지 않기로 한 것입니다. 설정을 아무리 뒤져도 여기서는 나올 것이 없습니다.
도움말은 이 상태에 대해 나중에 색인이 생성될 수도 아닐 수도 있으며 "크롤링을 위해 이 URL을 다시 제출할 필요는 없습니다"라고 적습니다. 재요청 버튼이 답이 아니라고 문서가 직접 말하는 셈입니다. 다른 글과 겹치는 내용, 목록만 있고 본문이 없는 페이지, 제품 소개를 그대로 옮긴 글이 여기에 쌓입니다.
고치면 끝나는 문제는 상태 이름에 답이 들어 있습니다
설정 문제는 보고서에서 숨지 않습니다. 아래 이름으로 찍혔다면 글과는 무관하고, 파일 한 줄이나 설정 한 칸을 고치는 순간 끝납니다. 외주사에 그대로 넘기면 되는 영역입니다.
- robots.txt에 의해 차단됨 — 크롤링 차단 규칙
- URL이 'NOINDEX'로 표시됨 — 색인 거부 태그
- 리디렉션 오류 — 너무 긴 체인, 순환, 잘못된 주소
- 리디렉션이 포함된 페이지 — 다른 주소로 넘어가는 비표준 URL
- 서버 오류(5xx), 401·403 차단 — 서버와 접근 권한 설정
- Soft 404 — 없는 페이지인데 404 코드를 반환하지 않는 경우
중복으로 찍힌 세 가지는 서로 다른 문제입니다
중복 계열은 '적절한 표준 태그가 포함된 대체 페이지', '사용자가 선택한 표준이 없는 중복 페이지', '중복 페이지, Google에서 사용자와 다른 표준 URL을 선택함' 세 가지입니다. 첫 번째는 정상 동작이라 손댈 필요가 없습니다.
뒤의 두 가지는 구글이 다른 주소를 대표로 골랐다는 뜻입니다. 여기서 설정과 내용이 섞입니다. 같은 글이 주소 여러 개로 열리는 것은 설정 문제이고, 주소는 하나인데 내용이 실제로 겹치는 것은 글 문제입니다. 두 주소를 나란히 열어 본문이 다른지부터 확인하세요.
URL 검사 도구는 두 가지 결과를 보여 줍니다
개별 글은 보고서가 아니라 URL 검사 도구로 봅니다. 보고서는 사이트 전체의 경향을 보는 용도라고 도움말이 안내합니다.
주의할 점은 기본 화면이 '색인된 버전'이라는 것입니다. 지금 서비스 중인 페이지가 아니라 구글이 마지막으로 색인한 버전의 결과입니다. 어제 고친 내용이 반영됐는지 보려면 실시간 테스트를 따로 눌러야 합니다. 실시간 테스트는 통과하는데 색인된 버전만 문제로 나온다면 이미 고쳤다는 뜻이니 기다리는 것이 맞습니다.
색인 요청을 반복해도 순서는 당겨지지 않습니다
구글 문서는 "동일한 URL에 재크롤링을 여러 번 요청하더라도 더 빨리 크롤링되지는 않습니다"라고 못 박습니다. 하루에 제출할 수 있는 색인 요청 수에도 속성별 제한이 있습니다.
사이트맵도 같습니다. 구글은 사이트맵 제출이 "힌트를 주는 정도"라고 표현하고, 그 파일을 내려받는다는 보장도 하지 않습니다. 파일 하나당 URL 50,000개 또는 압축 전 50MB가 상한입니다. 색인 요청으로 해결되지 않는다는 말은, 원인이 요청 밖에 있다는 신호로 읽으세요.
외주사에는 이 여섯 가지를 적어서 요청하세요
"검색이 안 됩니다"라고 보내면 색인 요청만 돌아옵니다. 보고서에서 읽은 상태 이름과 함께 아래 항목을 요청하면 작업 범위가 바로 정해집니다.
- 해당 글의 색인 상태 이름과 마지막 크롤링 날짜
- robots.txt 전문, 그 주소의 차단 여부
- 페이지 소스의 noindex 메타 태그와 canonical 주소
- 사이트맵 포함 여부와 lastmod 값
- 그 주소의 HTTP 응답 코드와 리디렉션 경로
- 같은 내용이 열리는 다른 주소(www 유무, 파라미터, 페이지 번호)
여섯 가지가 전부 정상이면 설정 문제는 아닙니다. 그때부터는 글을 다시 쓰는 일이고, 외주사가 아니라 콘텐츠 담당자의 몫입니다.
이 보고서로 답이 나오지 않는 경우도 있습니다
예시 URL 목록은 항목당 1,000행까지만 보여 주고, 영향받은 주소가 전부 나온다는 보장도 없습니다. '찾을 수 없음(404)' 항목은 지난 한 달 동안 404를 반환한 주소만 표시합니다. 오래전에 지운 주소는 여기 없습니다.
크롤링 예산을 따로 걱정할 규모도 정해져 있습니다. 구글이 드는 기준은 고유 페이지 100만 개 이상이면서 주 1회 바뀌거나, 1만 개 이상이면서 매일 바뀌는 사이트입니다. 대부분의 기업 홈페이지와 블로그는 그 규모가 아니니, 크롤링 예산 탓이라는 설명을 들었다면 근거를 되물어 보세요.
상태별 정의는 Google 페이지 색인 생성 보고서 도움말에 그대로 나와 있습니다. 운영 중에 마주치는 비슷한 사례는 운영 노트와 실무 가이드에 모아 두었고, 홈페이지 구조 점검과 개선은 Codeforest에서 상담하실 수 있습니다.
결론: 가져갔는지 여부로 먼저 가르세요
설정 문제인지 내용 문제인지 나누는 기준은 하나입니다. 구글이 그 페이지를 가져갔는가입니다. '발견됨'이면 통로와 서버를 보고, '크롤링됨'이면 글을 봅니다. 이 한 줄만 기억해도 엉뚱한 곳을 파는 며칠을 아낍니다.
robots.txt, noindex, 리디렉션, 5xx, soft 404는 상태 이름 그대로 외주사에 넘기면 끝나는 일입니다. 반대로 중복과 '크롤링됨'은 고쳐서 끝나지 않고 다시 써야 합니다. 색인 요청 버튼은 둘 중 어느 쪽에도 답이 아닙니다.
