반응형
프로젝트 최상단에 robots.txt 파일을 생성한 후 다음과 같이 설정한다.
* 다른 검색 엔진 로봇 수집 거부 / 특정 검색 로봇 (네이버 검색 봇) 수집만 허용하기
User-agent: *
Disallow: /
User-agent: Yeti
Allow: /* 모든 검색 엔진 로봇에 대해 수집 허용하기
User-agent: *
Allow: /* 사이트의 루트 페이지만 수집 허용하기
User-agent: *
Disallow: /
Allow: /$* 개인 정보 페이지는 검색 허용하지 않기 (/private/ 경로가 개인 정보 페이지 일경우)
User-agent: Yeti
Disallow: /private*/* 모든 검색 허용하지 않기
User-agent: *
Disallow: /
반응형
'개발' 카테고리의 다른 글
| 톰캣 매니저 설정하기 (0) | 2020.11.29 |
|---|---|
| mysql 접속 설정 확인 쿼리 (0) | 2020.11.29 |
| mybatis bulk insert 쿼리 (0) | 2020.11.29 |
| 안드로이드/IOS 에서 입력 필드 포커스 날리기 (0) | 2020.11.29 |
| 안드로이드 usb디버깅 크롬으로 확인하기 (0) | 2020.11.29 |