20개 무료 도구로 SEO를 시작하세요
도메인의 robots.txt를 분석하고 크롤링 규칙을 확인하세요.
robots.txt는 검색 엔진 크롤러에게 어떤 페이지를 크롤링하고 어떤 페이지를 건너뛸지 알려주는 파일입니다. 잘못 설정하면 사이트 전체가 인덱싱되지 않을 수 있습니다.
