카테고리 없음
로봇 배제 표준 robots.txt
2013.01.27 12:28 작성 robots.txt는 '로봇 배제 표준'이라고 하며, 검색 로봇 등의 접근을 제어하는 기능을 하는 규약이다. 쉽게 말해 웹서버에 있는 정보를 긁어갈 수 있는 범위를 제어하는 파일이다.이 규약은 권고안이며 로봇에 대한 것이기 때문에, 다른 사람들이 파일에 직접 접근할 수는 있다. 접근 제한에 대한 설명을 적은 위와 같은 이름의 텍스트 문서를 루트에 설치하면 기능한다. User-agent: *Disallow: / User-agent # 적용 대상 설정ex) User-agent: * # 모든 로봇에 적용 Disallow: / # 수집(크롤링) 금지Allow: / # 수집(크롤링) 허용 HTML..