기계는 거짓말하지 않는다고 했는데, 그렇다고 하더라도
구글 서치 로봇은 항상 옳은 것만 하는 것은 아닙니다. 흔하게 날아오는 크롤링 오류, 모바일 편의성 오류 등은 심심하면 날아오고 또, 며칠 지나면 지 혼자서 해결되었다는 알림이 옵니다. 그래서 구글 서치에서 오류가 오면 먼저 어떤 오류인지 슬쩍 본 다음에 내용을 읽을 것인지 아닌지를 판단하는데, 대부분은 다음 알림까지 기다립니다. 다음에도 같은 알림이 오면 그제야 해당은 글을 확인합니다.
그런데 이번에는 오류가 날아온 것은 NOINDEX 오류로 그 이전에는 들어본 적이 없는 오류인데요, 어떤 오류일까요. 잠시 시간을 내어 찾아 들어갔습니다.
'NOINDEX' 태그에 의해 제외되었습니다.' 오류 알림, 색인 제외 등의 알림은 지금처럼 알림을 타고 들어오면 해당 알림을 확인할 수 있습니다. 어떤 글인지 볼까요.
'NOINDEX' 알림으로 나온 글은 포스팅도 아닌 사이트맵입니다. 사이트맵에 무슨 'NOINDEX' 태그가 들어간다고 오류 메시지를 보내는 건지 모르겠네요. 여기서 힘을 빼면 안 됩니다. 이다음 과정은 전혀 의미 없습니다만, 색인 생성 요청을 해보겠습니다.
한참 돌다가 결과를 뱉는데요, 색인 생성 요청을 거부하는 알림입니다. 그냥 어떤가 하는 생각으로 과정을 조금 더 따라갔습니다만, 'NOINDEX' 는 해당 포스팅을 색인하지 말라는 메타태그입니다. HTML <head>색션에 이 코드를 넣으면 색인하지 말라는 명령입니다. 블로그를 하면서 이럴 일은 없죠. 그리고 블로그에서 혹시 잘못하다 이런 기능이 있는 버튼을 클릭할 일도 없습니다. 아무리 찾아봐도 블로그를 작성하는 과정에서 'NOINDEX'에 걸릴만한 것은 전혀 없으니까요.
또, 이상한 색인이 안 되는 이유를 발견했는데요,
현재 색인이 생성되지 않음 항목에 들어오니 최종 크롤링에 해당 사항 없음이라고 적혀있습니다. 이 자리는 구글 서치로봇이 포스팅을 방문한 날짜가 적혀있는 곳입니다. 전혀 이해할 수 없는데요, 이렇게 해당 사항 없음이라고 나오는 원인 중에는 앞서 이야기한 'NOINDEX' 태그도 한몫합니다. 그래서 상세하게 소개하기도 했습니다만, 또, 가능성이 있는 원인은 구글 로봇이 페이지에 접근할 수 없는 경우로, 지금 상태로는 이 원인이 최근 'NOINDEX' 태그와 지금의 해당사항 없음으로 색인이 안 되는 이유라고 할 수 있습니다. 또 한 가지를 덧붙이면 구글 서버의 숙취로 갑자기 검색 순위를 완전히 바꿔버린 것은 아닌가 하는 생각도 합니다. 그렇지 않고서야 하루아침에 해당사항 없음으로 빠지는 글이 188개나 될 수가 없다는 거죠. 지금까지 해당 사항 없음이라는 이유도 처음 봅니다.
이런 것을 추정하면 뭔가 뭔지는 모르지만, 구글에서 어떤 밑바닥 작업을 하는 것은 아닐까 의심스럽네요. 이렇게 대량으로 해당사항 없음으로 나오는 글은 엊그제만 하더라도 꾸준히 방문자가 찾는 글도 있습니다. 그리고 해당사항없음으로 빠지는 글은 전부 전년도 발행 글입니다. 지금쯤이면 숙성이 되어 제자리를 찾아가고찾아 가고 있는 글도 있는데, 이렇게 흔들어버리네요. 색인 안 됨으로 올라오는 글은 웹주소로는 글을 찾을 수 있는데, 구글에서는 검색이 되지 않는 완전 낙동강 오리알이 되었습니다.
지금은 일일이 대응하기보다는 지켜보겠습니다. 188개 글을 재신청하는 것도 상당한 날짜가 필요하니까요.