Editor's pick
콘텐츠 전략
AI 크롤러 차단 어디서 해야 할까요: robots.txt, llms.txt, Cloudflare 비교
robots.txt는 크롤러가 스스로 지키는 요청일 뿐이고, llms.txt는 애초에 차단 파일이 아닙니다. 실제로 요청을 끊는 것은 Cloudflare 같은 네트워크 단 차단이며, 2026년 9월 15일에 그 기본값이 바뀝니다. 학습 수집은 막고 검색·AI 답변 유입은 남기는 선을 층별로 정리했습니다.