실천 안내서 · MynameAI 편집

우리 사이트의 robots.txt와 noindex 확인하기

공개하려는 페이지가 검색 수집을 막고 있지는 않은지, 반대로 숨기려는 페이지가 검색에 남아 있지는 않은지 순서대로 확인합니다.

게시

1. 확인할 페이지와 공개 목적을 정합니다

검색 설정을 확인할 때는 페이지별로 공개 목적, 수집 허용 여부, noindex 유무, Google의 확인 상태를 따로 기록하세요.

이 안내서는 사이트 운영자와 제작 담당자가 공개 웹페이지를 함께 점검할 때 쓰는 절차입니다. 회사 소개, 서비스 소개, 문의 안내 등 확인할 주소를 먼저 적습니다. 홈페이지 첫 화면만 확인하고 사이트 전체가 같다고 판단하지 마세요.

사이트 관리 화면을 볼 수 있는 계정과, 가능하다면 해당 사이트의 Google Search Console 접근 권한을 준비합니다. 설정을 직접 바꿀 권한이 없으면 발견한 항목을 제작 담당자에게 전달합니다.

첫 질문은 ‘이 페이지를 누구에게 보여 주려는가’입니다. 검색 유입이 필요한 공개 소개 페이지, 웹에서는 열리지만 검색에는 싣지 않을 페이지, 로그인한 사람만 볼 자료를 구분합니다. 비공개 자료는 로그인과 접근 권한으로 보호해야 합니다.

2. robots.txt에서 수집 차단을 확인합니다

사이트 주소 뒤에 /robots.txt를 붙여 파일을 엽니다. 여기에는 수집기별로 적용되는 User-agent와 접근을 제한하는 Disallow 등의 규칙이 있습니다. 특정 규칙 한 줄만 보지 말고 검사할 주소에 어떤 수집기 규칙이 적용되는지 확인합니다.

Google 검색을 점검할 때는 Googlebot의 접근 여부를 확인합니다. 규칙을 읽기 어렵다면 파일 내용과 대상 URL을 제작 담당자에게 보내 판정을 요청하세요. 브라우저에서 사람이 페이지를 열 수 있다는 사실만으로 수집기 접근까지 확인된 것은 아닙니다.

robots.txt의 차단은 해당 웹페이지가 Google 검색에서 완전히 사라졌다는 증거가 아닙니다. 전체 차단을 무조건 지우지 말고 원래 막아 둔 이유와 공개 범위를 먼저 확인합니다.

3. 페이지의 검색 제외 설정을 확인합니다

사이트 제작 도구의 페이지 설정에서 ‘검색엔진에 표시’, ‘검색 제외’처럼 검색 공개 여부를 정하는 항목을 찾습니다. 메뉴 이름은 제품마다 다릅니다. 공개하려는 페이지에 검색 제외가 켜져 있다면 의도된 설정인지 담당자와 확인합니다.

직접 확인할 수 있다면 페이지 HTML의 robots 또는 googlebot 메타 태그와, 서버 응답의 X-Robots-Tag에 noindex가 있는지 봅니다. 화면에서 안 보인다고 없는 것이 아니며, HTML에서 못 찾았더라도 응답 헤더에는 있을 수 있습니다.

검색에서 제외하려는 공개 페이지에 noindex를 쓰는 경우에는 Google이 그 지시를 읽을 수 있어야 합니다. 같은 페이지를 robots.txt로 막아 두면 지시를 읽지 못할 수 있습니다. noindex는 robots.txt 파일에 적는 규칙이 아닙니다.

4. Search Console에서 현재 상태를 대조합니다

Google Search Console에서 해당 사이트를 선택하고 URL 검사에 정확한 페이지 주소를 입력합니다. 처음 나오는 결과는 Google이 보관하고 있는 색인 관련 정보입니다. 마지막 수집 시점과 수집·색인 허용 여부, 표시되는 제외 사유를 기록합니다.

설정을 수정했다면 ‘실제 URL 테스트’로 현재 페이지의 접근 가능 여부를 확인합니다. 저장된 결과와 실시간 검사 결과의 시점이 다르다는 점에 주의하세요. 실시간 검사 통과는 실제 색인 완료나 모든 품질 조건 충족을 뜻하지 않습니다.

공개할 페이지의 문제를 해결했다면 필요한 경우 색인 생성을 요청할 수 있습니다. 요청은 즉시 반영을 보장하지 않습니다. Search Console 권한이 없으면 이 단계는 ‘미확인’으로 기록하고 담당자에게 결과 공유를 요청합니다.

5. 수정 전후를 같은 양식으로 남깁니다

기록 양식: 확인 날짜 / 페이지 주소 / 공개 목적 / Googlebot 수집 접근 / noindex 유무 / Search Console 상태와 확인 시점 / 수정한 내용 / 다시 확인할 담당자.

가상 기록 예시: ‘서비스 소개 페이지 / 검색 공개 목적 / 수집 허용 / noindex 발견 / 담당자에게 해제 요청 / 변경 후 실제 URL 테스트 예정’. 이 예시는 실제 고객의 점검 결과가 아닙니다.

체크리스트 ① 공개 목적과 설정이 일치하는가 ② robots.txt와 페이지의 noindex를 각각 확인했는가 ③ 비공개 자료의 접근 권한을 유지했는가 ④ 검사 결과의 날짜를 기록했는가 ⑤ 확인하지 못한 항목을 미확인으로 남겼는가.

수정 직후에는 설정이 바뀌었는지를 확인하고, 이후에는 Google이 새 상태를 확인했는지를 따로 살펴봅니다. 수정 완료 날짜를 검색 반영 완료 날짜로 적지 마세요.

6. AI 검색 결과는 별도로 확인합니다

Google AI Overviews와 AI Mode의 보조 링크 대상이 되려면 색인 및 검색 설명문 표시 요건을 충족해야 합니다. 기술 설정을 고쳤다는 이유만으로 AI 답변에 실린다고 결론 낼 수는 없습니다.

이 안내서는 Google 검색의 공개 지침을 바탕으로 작성했습니다. 다른 AI 서비스는 각 서비스의 수집·인용 정책을 따로 확인하세요. 실제 브랜드 언급은 질문과 확인 날짜를 남겨 관찰하고, 홈페이지 설정 점검 결과와 구분해 기록합니다.

작성: MynameAI 편집 · 공식 자료 확인: 2026년 10월 18일. 아래 분석 글에서는 두 설정을 혼동할 때 생기는 문제를 설명하고, 측정 안내서에서는 실제 AI 답변을 확인하는 방법을 다룹니다.

‹ 안내서 목록