robots.txt 설정하기 네이버 robots.txt 제출하기

robots.txt 구성 기본요소 

User-agent: 

Allow: 허용할 경로

Disallow: 제한할 경로입니다

Sitemap: 사이트맵 경로(사이트맵 전체 URL

위 요소를 모두 넣지 않더라도

“User-agent”는 반드시 포함 되어야합니다

robots.txt 설정하기

만들기 : 메모장으로 입력 후 robots.txt  이름으로 저장

업로드 : 최상위 루트

-모든 검색 로봇이 내 사이트의 모든 내용 검색허용

User-agent: *
Allow: /

또는

User-agent: *

Disallow:

-내 사이트내 모든 내용 검색허용하되

-특정 디렉토리(admin,data,img)만 노출막기
 

user-agent: *

disallow: /admin/
disallow: /data/

disallow: /img/  

​위 디렉토리 폴더 자세히 : 

/admin 은 admin폴더와 폴더 안에 파일까지

/admin/ 은 admin폴더만

사이트맵 위치 안내

User-agent: *

Disallow:

Sitemap: http://사이트주소/sitemap.xml

네이버 또는 구글에 제출할땐 아래 표기가 무난하지 않을까요?

-내 사이트내 모든 컨텐츠 검색허용
User-agent: *
Allow: /

아재감성 아재공간 다온네