블로그스팟(Blogger)의 robots.txt는 검색 로봇이 내 블로그의 어느 부분을 수집하고 어느 부분을 차단할지 결정하는 중요한 파일입니다.
결론부터 말씀드리면, 초보자라면 기본 설정을 유지하는 것이 가장 안전하며, 수동으로 설정할 때는 사이트맵 주소를 명확히 기재해 주는 것이 핵심입니다.
블로그스팟(Blogger)의 robots.txt는 검색 로봇
1. 권장하는 robots.txt 설정값
블로그스팟 관리자 페이지의 **[설정] > [크롤러 및 색인 생성] > [맞춤 설정 robots.txt]**를 활성화한 후, 아래 내용을 복사해서 넣으시면 됩니다.
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://본인블로그주소.blogspot.com/sitemap.xml
Sitemap: https://본인블로그주소.blogspot.com/sitemap-pages.xml
User-agent: *: 모든 검색 로봇에게 적용됩니다.
Disallow: /search: 검색 결과 페이지나 라벨 페이지가 중복 콘텐츠로 인식되는 것을 방지하기 위해 수집을 차단합니다.
Allow: /: 그 외의 모든 일반 포스팅은 수집을 허용합니다.
Sitemap: 검색 로봇이 사이트맵 위치를 즉시 파악할 수 있도록 경로를 지정합니다.
2. 절대 주의사항: 검색 노출 차단 방지
많은 분들이 실수로 Disallow: /라고 설정하는 경우가 있습니다. 이렇게 설정하면 블로그 전체가 검색 결과에서 사라지게 되므로 주의해야 합니다.
Disallow: /(X) : 전체 차단 (위험)Allow: /(O) : 전체 허용 (정상)
3. 맞춤 설정 로봇 헤더 태그 (중요)
robots.txt 바로 아래에 있는 **[맞춤 설정 로봇 헤더 태그 사용]**도 함께 설정하면 색인 속도가 더 빨라집니다.
홈페이지 태그:
all,noodp체크보관 및 검색 페이지 태그:
noindex,noodp체크 (중복 콘텐츠 방지)게시물 및 페이지 태그:
all,noodp체크
4. 설정 후 확인 방법
설정을 마쳤다면 브라우저 주소창에 내블로그주소/robots.txt를 입력해 보세요. 작성한 내용이 화면에 나타난다면 구글 로봇이 이를 읽어갈 준비가 된 것입니다.
블로그스팟의 맞춤 설정 로봇 헤더 태그나 HTML 메타 태그에서 사용하는 이 옵션
블로그스팟의 맞춤 설정 로봇 헤더 태그나 HTML 메타 태그에서 사용하는 이 옵션들은 검색 로봇에게 "이 페이지를 어떻게 처리해라"라고 내리는 개별 명령어들입니다.
각 태그의 정확한 의미를 쉽게 풀어서 설명해 드릴게요.
1. 수집 및 색인 관련 (기본)
all: 제한이 없습니다. 검색 로봇이 페이지를 수집(크롤링)하고 검색 결과에 노출(색인)하는 모든 행위를 허용합니다.
noindex: 해당 페이지를 검색 결과에 노출하지 말라는 뜻입니다. 로봇이 읽어갈 수는 있지만, 구글 검색창에 검색되지는 않습니다.
nofollow: 페이지 내에 있는 링크들을 따라가지 말라는 뜻입니다. 링크된 다른 페이지로 로봇이 이동하는 것을 막습니다.
none:
noindex,nofollow를 동시에 적용한 것과 같습니다. (검색 노출 X + 링크 추적 X)
2. 검색 결과 표시 방식 관련 (상세)
noarchive: 검색 결과에 '저장된 페이지(캐시)' 링크를 표시하지 마라는 뜻입니다. 최신 정보가 중요한 사이트에서 사용합니다.
nosnippet: 검색 결과에 제목과 함께 나오는 설명글(요약문)과 미리보기 내용을 표시하지 마라는 뜻입니다.
noodp: DMOZ(Open Directory Project)라는 외부 디렉토리 정보를 검색 결과 제목이나 설명으로 사용하지 말라는 뜻입니다. (현재는 DMOZ 서비스가 종료되어 거의 무시됩니다.)
notranslate: 검색 결과에서 이 페이지에 대한 '번역하기' 링크를 제공하지 마라는 뜻입니다.
noimageindex: 이 페이지에 포함된 이미지들을 검색 결과에 노출하지 마라는 뜻입니다.
unavailable_after: 지정된 날짜 이후에는 검색 결과에서 삭제해라는 뜻입니다. 이벤트 종료 페이지 등에 사용합니다.
💡 블로그스팟 권장 설정 요약
블로그 운영 시 가장 효율적인 조합은 다음과 같습니다.
| 설정 항목 | 추천 태그 | 이유 |
| 홈페이지 | all, noodp | 메인 페이지는 무조건 잘 노출되어야 합니다. |
| 보관 및 검색 | noindex, noodp | 라벨/검색 결과 페이지가 중복 콘텐츠로 분류되는 것을 막습니다. |
| 게시물 및 페이지 | all, noodp | 개별 포스팅이 검색 엔진에 정상적으로 노출되게 합니다. |
블로그스팟에 설정한 robots.txt가 정상적으로 적용되었는지 확인
1. 웹 브라우저를 통한 직접 확인 (가장 빠른 방법)
가장 확실한 방법은 본인의 블로그 주소 뒤에 /robots.txt를 붙여서 직접 접속해 보는 것입니다.
브라우저 주소창에 다음과 같이 입력합니다:
https://본인블로그이름.blogspot.com/robots.txt
화면에 텍스트 데이터가 나타난다면 정상적으로 설정된 것입니다.
체크포인트: 만약
User-agent: *아래에Disallow: /라고 적혀 있다면 블로그 전체가 검색 노출에서 차단된 상태이므로 즉시 수정해야 합니다
2. 구글 서치 콘솔 'robots.txt 테스터' 활용
구글 로봇이 실제로 내 파일을 어떻게 해석하는지 알고 싶을 때 유용합니다.
구글 robots.txt 테스터 내 블로그 속성을 선택합니다.
현재 설정된
robots.txt내용이 표시됩니다.하단 [테스트] 버튼을 눌러 특정 URL(예: 포스팅 주소)이 차단되었는지 허용되었는지 실시간으로 확인할 수 있습니다.
참고: 최근 구글 서치 콘솔 인터페이스가 변경되면서 '설정 > 크롤링 > robots.txt' 메뉴에서도 상태 확인이 가능합니다.
3. 확인 시 주의사항 (에러 증상)
404 에러(페이지를 찾을 수 없음): 블로그 설정에서 '맞춤 설정 robots.txt'를 활성화하지 않았거나 주소를 잘못 입력한 경우입니다.
빈 화면: 설정값에 아무 내용도 입력하지 않았을 때 발생합니다. 앞서 알려드린 권장 설정값을 복사해서 넣어주세요.
