Search Robots

트래픽 괴물 검색 로봇 대처기

Crawl-delay: 초 : 다음 페이지를 크롤링하는데 까지 멈추는 시간.