AI 크롤러 차단 검사

귀하가 권한을 가진 주소를 넣어 주십시오.

주소를 넣으시면 바로 결과를 보여드립니다. 이 도구는 회원 가입 없이 쓰실 수 있고, 토큰을 차감하지 않습니다. 다만 짧은 시간에 반복해서 요청하시면 잠시 제한될 수 있습니다. 같은 주소는 모든 무료 검사를 합쳐 하루 다섯 번까지 검사하실 수 있습니다. 무료 검사 킷은 한 번으로 셉니다.

이 도구는 입력하신 주소의 공개된 내용만 확인합니다.

검사 결과는 저장하지 않습니다.

다만 과도한 반복 요청을 막기 위해 접속 기록을 짧은 기간 보관합니다.

AI 서비스가 어떤 자료를 인용할지는 각 서비스가 정하므로,

이 결과가 특정 AI 답변에서의 노출을 보장하지 않습니다.

이 검사가 보는 것robots.txt 파일의 존재 여부, 각 AI 수집기에 대한 Allow · Disallow 규칙, 크롤 지연 설정, 사이트맵 선언 여부를 읽습니다.

왜 중요한가생성형 AI는 수집한 페이지를 근거로 답합니다. 수집기가 막혀 있으면 아무리 좋은 내용을 써 두어도 AI는 그것을 읽지 못하고, 다른 회사의 정보로 답하게 됩니다.

결과를 어떻게 쓰나차단된 수집기가 있다면 robots.txt에서 해당 줄을 수정하십시오. 의도적으로 막은 것이 아니라면 대개 기본 설정이나 보안 플러그인이 원인입니다.

어떤 값이면 충족입니까?

허용 6

주요 AI 수집기 여섯이 모두 접근 가능합니다. 이 항목에서 감점 요인이 없습니다.

허용 4~5

대체로 열려 있으나 일부 수집기가 막혀 있습니다. 어느 AI의 답에서 빠지는지 확인이 필요합니다.

허용 2~3

절반 이상이 차단된 상태입니다. 노출 가능한 AI가 제한됩니다.

허용 1

대부분의 수집기가 차단되어 있습니다. 생성형 AI가 이 사이트를 근거로 삼기 어렵습니다.

허용 0

모든 AI 수집기가 차단되어 있거나 robots.txt에 접근할 수 없습니다. 이 상태에서는 생성형 AI 가 이 사이트의 내용을 수집할 수 없습니다. 수집기 접근을 열 것인지 확인해 보십시오.

자주 묻는 것

일반 robots.txt 검사와 무엇이 다릅니까일반 검사는 검색엔진 수집기(Googlebot 등)를 봅니다. 이 검사는 생성형 AI 수집기를 봅니다. 둘은 다른 이름을 쓰며, 하나만 막혀 있는 경우가 흔합니다.

차단하는 것이 나을 때도 있습니까있습니다. 콘텐츠가 학습에 쓰이는 것을 원치 않으신다면 차단이 맞습니다. 다만 그 경우 AI 검색에서 노출되지 않는다는 점을 함께 아셔야 합니다.

이 항목은 34개 중 하나입니다

이 검사는 홈페이지 접근 진단이 보는 7개 영역 가운데 「크롤링 접근성」에 해당합니다. 전체 34개 항목을 한 번에 보시려면 진단을 이용하십시오. 미충족 항목 목록까지 문서로 드립니다.

홈페이지 접근 진단 — 1

실측이 도구는 홈페이지 접근 진단의 「크롤링 접근성」 항목과 같은 코드로 같은 판정을 합니다. 도구에서 나온 결과와 진단에서 나온 결과가 다르지 않습니다.

미측정robots.txt를 고친 뒤 각 AI가 언제 다시 수집하는지는 저희가 측정하지 않았습니다. 재수집 시점을 보장하지 않습니다.