한 줄: HTML <head>의 meta name="robots"로 이 페이지를 색인할지·링크를 따라갈지를 페이지 단위로 지시한다. 사이트 전체 크롤 게이트인 robots.txt와는 역할이 다르다.

관련: 땡큐캠핑 SEO · 블로그 SEO (Google 공식 기준)

웹페이지 HTML의 <head> 안에 넣는 meta name="robots" 한 줄이, 그 페이지를 검색엔진이 색인할지·링크를 따라갈지를 페이지 단위로 지시한다. 사이트 전체를 막는 robots.txt와 역할이 다르고, HTTP 응답 헤더의 X-Robots-Tag와도 겹치지만 적용 범위가 다르다. SEO에서 “이 URL은 검색 결과에 나오면 안 된다”는 요구가 생길 때 가장 직접적으로 쓰는 신호다.

이 글에서는 크롤링·색인·링크추적의 차이를 풀어 쓰고, 주요 지시어(directive)와 조합이 실제로 무엇을 하는지, robots.txt / meta / X-Robots-Tag를 언제 쓰는지, 검증 방법과 흔한 함정까지 정리한다.

크롤러가 head meta를 읽고 색인·팔로우를 결정

이 도식이 말하는 것: 크롤러는 HTML을 받은 뒤 <head>의 meta robots를 읽고, 그 페이지를 색인할지·내부 링크를 따라갈지를 페이지 단위로 결정한다.

meta robots란

meta robots는 HTML 문서의 <head>에 넣는 메타 태그다. 형식은 대략 다음과 같다.

<meta name="robots" content="noindex, follow">

• name="robots" — 대부분의 검색 크롤러를 대상으로 하는 일반 지시
• content — 쉼표로 구분한 지시어 목록 (index, noindex, follow, nofollow 등)

페이지마다 다른 규칙을 줄 수 있다. 로그인 후 화면만 noindex로 두고, 공개 문서 페이지는 기본(색인 허용)으로 두는 식이다. 서버가 HTML을 내려주는 시점에 태그가 렌더링되어야 크롤러가 볼 수 있다. JS로만 늦게 삽입하는 방식은 봇·환경에 따라 놓칠 수 있으니, 가능한 한 초기 HTML(또는 SSR/SSG 결과)에 넣는 편이 안전하다.

크롤링 · 색인 · 링크추적 — 세 단어를 나눠 쓰기

검색엔진 이야기를 할 때 이 세 개념이 자주 섞인다. meta robots를 이해하려면 먼저 구분하는 게 좋다.

크롤링(crawl)

봇이 URL에 요청을 보내고 응답(HTML, 헤더 등)을 받아 오는 행위다. “방문해서 내용을 본다”에 가깝다. robots.txt로 Disallow 하면, 그 URL로의 크롤 자체를 막는 쪽이다(프로토콜상 요청하지 않기로 약속).

색인(index)