====== Search Robots ======

===== robots.txt =====
  * [[http://mytory.net/archives/12750|트래픽 괴물 검색 로봇 대처기]]
  * ''Crawl-delay: 초'' : 다음 페이지를 크롤링하는데 까지 멈추는 시간.