티스토리 구글 서치 색인 안 됨 403 오류
최근 티스토리 블로그에서 구글 색인 신청하는 과정에서 403 오류로 등록이 되지 않는 현상이 발생하고 있습니다. 액세스 금지(403 Forbidden) 오류는 웹 서버에서 클라이언트(사용자 브라우저)의 요청을 처리하지 않고 거부하는 상태 코드입니다.
이 오류가 발생하는 원인은 IP 제한, 웹 방화벽, 디렉터리 권한, URL 잘못 등으로 나타날 수 있는데, 가장 유력한 원인은 권한 부족입니다. 웹 서나 네트워크 장비에서 특정 IP 주소 범위나 특정 IP 주소의 접근을 차단할 때 발생할 수 있습니다.
이것은 403 오류에 대한 설명으로 이런 현상이 나타나는 것은 주로 티스토리 블로그인데요, 이것은 티스토리 사용자가 많다는 뜻이기도 합니다. 그래서 지금까지 티스토리 운영을 보면 이번 역시 티스토리 서버의 문제가 아닐까 하는 촉이 있는데요, 그럴 수도 있겠죠.
구글 블로그에서도 이상한 상황이 나타나고 있습니다. 구글 서치 로봇은 가끔 엉뚱한 오류를 만들어 내기도 합니다. 아무런 문제도 없는 글을 색인이 안 된다는 알림을 보냈다가 며칠 후에는 해결되었다는 알림도 받죠. 또, 색인이 안 된다는 알림을 받고 확인해 보면 해당 사항 없음이라고 나옵니다. 즉, 사용자가 처리할 내용이 아니라는 겁니다.
그런데 최근에 구글 블로그에서 색인이 안 되는 내용을 처음 접한 알림이 있습니다. 173개나 되는 색인이 안 되는 항목은 '발견됨 - 현재 색인이 생성되지 않음'으로 173개가 표시되고 있는데 그 내용을 보면 전부 작년도 발행한 글이며 최종 크롤링에는 크롤링 날짜가 들어가야 하는데 해당 사항 없음이라고 적혀있습니다. 이것은 지금까지 본 적이 없는 색인이 안 되는 이유로 어떤 경우에 이런 현상이 나타날까요.
또, 이번에 나타난 색인 안 됨 하나는 ‘NOINDEX’ 태그에 의해 제외되었습니다. 라는 이유로 날아왔는데, 글은 일반 포스팅이 아닌 사이트맵입니다. 사이트맵에서 NOINDEX로 나올 경우는사이트맵 안에 NOINDEX 태그가 들어있을 거라고 하는데, 사이트맵은 발행 글이 나열되는 구조이며, 색인을 목적이니 절대로 NOINDEX가 들어가면 안되는 곳입니다.
이 문제는 항상 되묻고 있습니다. 방문자가 없을 때 그 원인은 색인이 안 된 거였는데요, 그럴 때마다 색인 요청을 하고싶었죠. 과연 글을 발행할 때마다 색인 요청을 해야 할까요.
긴급성의 글을 발행할 때도 있습니다. 시사 주제로 운영한다면 당연히 초, 분 단위가 아까울 수 있는데요, 색인은 처음 개설해서 글 20개 정도 모이면 한 번, 그 뒤에 정말 색인이 안 될 때 또 한 번 하면 됩니다. 두 번째 색인 신청할 때는 그동안 발행한 글 전체를 색인 요청할 수도 없습니다. 웹마스터도구가 허용하는 숫자만큼만 색인해서 이 블로그가 글을 계속 발행한다는 것을 알려주는 계기로 사용하면 됩니다.
그리고 블로그를 처음 만들면 소위 블로그 지수가 있어 색인 되기까지 제법 시간이 걸립니다. 글발 행 후 색인까지 1주일, 그 이상의 시간까지 걸리기도 합니다. 계속 글을 발행하면서 색인 되는 시간이 줄어들죠.
구글 색인 요청을 하고 나면 반드시 올라오는 알림이 있습니다. 색인 요청을 많이 한다고 해서 순서가 바뀌는 것은 아닙니다. 그리고 고수익을 올리는 블로거는 색인은 딱 한 번만 하면 된다고 합니다. 특히 구글 색인은 하루 11개 정도입니다. 글을 계속 발행할 때마다 색인이 되는 것이 아닙니다. 오늘 글 개를 발행했다면 내일 또는 정기적으로 며칠 후에 글 개가 색인이 되는 것이 아니고, 색인은 어디까지나 구글 로봇에 달려있습니다.
사실은 구글 로봇이 긁어갈 수 있는 글을 발행해야 하는데요, 이것은 알 수 없습니다. 흔한 글이라고 해도 다음 날 색인이 될 수도 있습니다. 가령 '네이버 카페 탈퇴할 때', '네이버 아이디 추가 가입이 안 돼요' 등은 흔하디흔한 주제지만 내일 색인이 되기도 합니다. 반대로 독창적인 AI 관련 6세대, 7세대를 예상해서 혼자만 아는 글을 작성하더라도 긁어가지 않을 때가 있습니다. 귀한 주제라고 해서 색인이 빠르고 닳고 닳은 주제라고 해서 색인이 안 되는 것도 아닙니다.
글을 발행할 때마다 색인 요청을 하는 것은 하루 글 발행이 몇 개 안 되는 블로그가 아닐까 추측합니다. 왜냐하면 글을 꾸준히 발행하면 색인이 안 되는 글이 더 많습니다.
실제로 이 블로그에는 저만큼 글을 발행하지도 않았습니다. 그런데도 560개의 글이 색인이 안 되고 있는데요, 이 정도가 되면 글을 발행할 때마다 색인 요청하는 것보다 색인 안 된 글을 재요청하는 방법으로 바꿔야 합니다.
이번 티스토리 색인 요청 시에 나타나는 403 오류는 티스토리 블로그의 서버 이상일 수도 있고, 구글 서버의 이상일 수도 있을 겁니다. 다만 구글 블로그는 색인 요청을 하면 안 되는 것도 있지만, 대부분은 재요청을 받아주고 있습니다. 티스토리 블로그보다는 구글 블로그가 상황은 나은 편입니다.
티스토리 블로그 구글 색인이 안 되는 403 오류는 지금으로서는 사용자가 해결하는 방법은 없습니다. 403 오류의 원인으로 IP 제한, 웹 방화벽, 디렉터리 권한, URL 잘못 등을 거론했지만, 사실은 특이한 것은 없습니다. 지금까지 아무런 이상 없이 사용했고, 이전에는 아무런 문제가 없었던 것들이기에 새삼스럽게 지금 와서 고치거나 수정하지 않아도 됩니다. 사용자로서는 그럴 수도 없죠.
티스토리 블로그에서 오류가 나면 언제나 그렇듯이 기다리는 것, 이것밖에 할 수 있는 것은 없습니다. 그래도 이런 심술탱이 영감같이 운영하는 티스토리를 놓기에는 어렵습니다. 진입하기에는 쉬운 플랫폼이니까요. 그쵸. 한두 번 당하는 것도 아니면서 그래도 다음에는 좋아지겠지를 반복하며 여기까지 왔습니다. 그래도 한 번쯤은 새로운 세상을 쳐다보는 꿈을 꾸는 것은 어떨지.