프로젝트 최상단에 robots.txt 파일을 생성한 후 다음과 같이 설정한다. * 다른 검색 엔진 로봇 수집 거부 / 특정 검색 로봇 (네이버 검색 봇) 수집만 허용하기 User-agent: * Disallow: / User-agent: Yeti Allow: / * 모든 검색 엔진 로봇에 대해 수집 허용하기 User-agent: * Allow: / * 사이트의 루트 페이지만 수집 허용하기 User-agent: * Disallow: / Allow: /$ * 개인 정보 페이지는 검색 허용하지 않기 (/private/ 경로가 개인 정보 페이지 일경우) User-agent: Yeti Disallow: /private*/ * 모든 검색 허용하지 않기 User-agent: * Disallow: /