구글 서치 오류 알림에서 처음 보는 사용자가 선택한 표준이 없는 중복 페이지에 대해 살펴보며 전체적으로 구글 서치에서 페이지 색인이 생성되지 않는 이유로 나타나는 항목을 설명하겠습니다.
구글 서치에서 오류 알림이 왔을 때 즉각 반응할 때는 블로그 생성 초기이며, 어느 정도 시간이 지나면 그저 아무것도 아닌 것이 대부분입니다. 구글 서치나 애드센스에서 오류 메시지는 로봇이 해당 글을 찾았을 때 어떤 이유로 방문하지 못하면 오류를 보냅니다. 이런 오류는 사용자가 애드센스 승인을 받고 광고가 노출되기 전인, 애드센스 신청할 때부터 간섭을 받게 됩니다.
대부분의 오류는 로봇이 다시 방문하면 없어집니다. 애드센스 성적인 콘텐츠 경고 역시 그대로 두어도 다음 로봇이 방문하면서 잘못했습니다 하는 정정 알림이 오기도 하는데요, 무효 트래픽 역시 마찬가집니다. 무효트랙픽은 블로거의 잘못보다는 티스토리를 한다면 티스토리 문제로 사용자는 해결할 수 없어 그대로 두면 됩니다.
그러다 큰코다치기도 했는데요, 이번 티스토리 강제 광고 배치 건으로 블로거의 광고가 간접 받으면서 무효트래픽이 발생했고, 결국은 광고 게재 제한을 당하기도 했습니다만, 이렇듯이 구글 서치, 애드센스의 오류 알림은 날아올 때마다 반응하지 않아도 됩니다. 보통은 같은 메시지 몇 번은 날아오니 그때는 어떤 문제가 있는지 확인해 보면 됩니다.
이번에 날아온 오류 알림도 보통 때라면 쳐다보지도 않았을 겁니다. 새로 만든 블로그가 그 이전 블로그에 비해 활성도가 너무 떨어져 있는 상태에서 오류가 날아왔습니다. 그러잖아도 이전과는 다른 반응에 놀라고 있는 블로그이기에 또 어떤 오류가 노출을 방해할까 하는 심정으로 열어보았습니다. 그랬더니 처음 보는 오류네요, 사용자가 선택한 표준이 없는 중복 페이지. 그런데 검색을 해보니 구글 서치에서 별도의 안내도 없습니다. 그리고 여러 포스팅을 확인했는데, 그다지 영양가 있는 글도 없고요. 그래서 오류 알림을 쫓아가 보겠습니다.
사용자가 선택한 표준이 없는 중복 페이지로 날아온 오류 알림입니다. 구글 서치 알림에는 오류 알림과 함께 해당 페이지가 표시됩니다. 색인 생성 보고서 열기를 누르면 해당 페이지로 이동합니다.
많이 본 화면입니다. 구글 서치 왼쪽 메뉴 색인 생성 편에서 페이지를 누르면 색인 생성이 된 페이지와 그 아래 페이지 색인이 생성되지 않는 이유로, 그 항목에 해당하는 페이지가 올라옵니다. 색인이 되지 않는 사유를 적어볼게요. 글도 몇 개 없고 방문자도 하루 50명도 안되는 블로그에 색인이 되지 않는 오류 사유는 과하게 많아 보입니다.
1. 적절한 표준 태그가 포함된 대체 페이지
2. 찾을 수 없음(404)
3. robots.txt에 의해 차단됨
4. 리디렉션 오류
5. 리디렉션이 포함된 페이지
6. 다른 4xx 문제로 인해 차단됨
7. 사용자가 선택한 표준이 없는 중복 페이지
8. 크롤링 됨 - 현재 색인이 생성되지 않음
9. 발견됨 - 현재 색인이 생성되지 않음
여기서 먼저 앞선 질문인 사용자가 선택한 표준이 없는 중복 페이지를 보겠습니다. 이 중복 페이지는 말 그대로 중복일 수도 있고, http://와 https:// 가 충돌한다는 글도 있는데, 지금으로서는 아무것도 믿지 않는 것이 좋겠습니다. 이 오류가 나오는 이유는 정확하게 알 수 없지만 해결하는 방법은 일단 오류가 난 항목을 클릭해서 어떤 글인지 확인합니다.
게시글 주소가 https://www.capu.kr/feeds/4725348685038781644/comments/default 이렇게 나오는데, 어디서 이 주소가 나오는지도 확인할 수 없습니다. 이런 글은 그냥 무시합니다. 다만, 정상적인 게시글 주소가 나온다면, 그 글을 찾아보고 혹시 비슷한 제목으로 들어간 것은 아닌지 확인합니다. 글 제목은 티스토리에서도 구글 블로그에서도 블로거가 임의로 제목을 정할 수 있습니다. 이럴 때는 앞선 포스팅과 비슷한 제목이 들어갈 수도 있을 텐데요, 그렇다고 해도 같은 제목이 들어갔을까요.
여기서 비슷하다는 것은 글자 하나만 틀려도 다른 제목으로 인식하기에 비슷하다는 이유로 중복페이지라는 알림을 보내지도 않을 텐데요, 혹시 이 오류 알림이 신경 쓰인다면 수정할 수도 있겠지만, 혹시 모르니까 확인은 해봅니다. 그리고 제목을 자동으로 설정했다면 중복 제목을 절대로 나올 수 없습니다. 그 외에 중복 페이지라는 것이 내용이 똑같다는 의미는 아닌 것 같아요.
나머지 색인이 되지 않는 이유도 살펴볼 텐데요, 먼저 위에서 잠깐 이야기했습니다만, 애드센스, 구글 서치 알림은 거를 필요는 있습니다. 모든 알림에 반응하지 않아도 됩니다.
1. 적절한 표준 태그가 포함된 대체 페이지
색인 되지 않는 이유로 올라온 적절한 표준 태그가 포함된 대체 페이지는 모바일에 노출하니 컴에는 해당 사항이 없다는 표시입니다. 무시하면 됩니다. 이곳을 확인해 보면 https://www.capu.kr/2023/12/o-survive.html?m=1, 이렇게 뒤에 ?m=1 모바일용이라는 것이 표시되어 있습니다. 나머지 색인이 되지 않는 사유는 8번 사유 설명을 참고하면 됩니다.
8. 크롤링 됨 - 현재 색인이 생성되지 않음
색인이 되지 않는 이유에서 제일 먼저 챙겨야 하는 곳이 8, 9번 사유입니다.
내용을 보면 게시글 제목은 .html로 끝나는 주소로 나머지는 로봇이 쓸데없이 가져온 것입니다. 티스토리 블로그라도 게시글의 고유 주소가 있습니다. 그 주소 외 지금처럼 icon, https://www.capu.kr/script&max-results= 이렇게 끝나는 것은 쳐다보지 않아도 됩니다. 해결할 방법은 있는지 모르지만, 알 수 없었고요, 지금처럼 이런 엉뚱한 주소가 올라오는 것은 블로그 생성 초기에 많이 올라옵니다. 어떤 이유인지는 모르지만, 일정 기간이 지나면서 없어지고 실제 게시글 주소만 보입니다.
이제 이 글을 수동으로 색인 신청해야 합니다. 그 방법으로 해당 글에 커서를 올리면 맨 끝에 보이는 돋보기 아이콘을 클릭합니다.
색인 생성 요청을 누릅니다.
혼자서 한 참 돌다 '색인 생성 요청됨' 알림이 올라오며, 여기에는 여러 번 신청해도 순위가 바뀌지 않는다고 알려주고 있습니다. 이제 기다리면 됩니다. 그리고 구글 서치 로봇이 매일 게시글을 검수하는 것은 아니고 길면 일주일 정도 걸려야 색인이 되지 않는 사유 페이지가 새로고침이 됩니다. 그때 다시 색인이 되지 않은 글을 앞선 방법으로 신청하면 됩니다. 나머지 색인 되지 않는 사유도 이 방법으로 색인 신청하면 됩니다.
그런데 글이 많아지면 색인 되지 않는 글도 엄청나게 많아집니다. 구글 서치의 색인속도는 글 발행을 따라가지 못해 색인 되지 않는 페이지에 적치됩니다. 이런 이야기를 하는 것은 구글 서치의 색인 신청은 하루 10, 11개 정도입니다.
여기서도 조금 주제와 다른 가지치기 글입니다만, 많은 사람이 직접 경험했다는 것이 반드시 사실은 아닙니다. 구글 서치에 색인을 빨리하고 싶으면 수동으로 색인 신청을 했더니 다음 날 색인이 되더라는 글도 있는데, 구글 서치 색인은 처음에 글이 10개 정도 모이면 그때 한 번 신청하면 됩니다. 어차피 색인에 시간이 걸리기에 수동으로 신청을 여러번 한다고 해서 달라지지 않죠. 글에 따라서 수동 색인 신청을 하지 않아도 검색을 통해서 확인할 수 있는 글도 있습니다. 색인이 되기까지 몇 시간 후라고 정해져 있지 않기에 기다리는 것밖에 없습니다. 그러다 마침 색인이 되는 글이었는데, 수동으로 신청한 이후에 보였을 수도 있습니다.
그리고 포스팅에 글이 많아지면 색인이 안 되는 페이지에 글이 쌓이는데, 여기 있는 글을 수동으로 신청하는 것도 작전을 짜야 합니다. 무턱대고 앞에서부터 수동 색인을 신청하면 일주일 후에 다시 그 글을 신청할 수도 있습니다. 하루에 신청하는 글 수는 정해져 있는 상태에서 안 해도 되는 글을 수동으로 신청했다면 다른 글을 신청할 수 없죠.
이것은 설명보다 직접 겪어보면 알 수 있는데요, 200개 글이 색인이 누락되었다면 하루에 10개씩 수동으로 신청합니다. 일주일이면 70개죠, 70개를 신청했는데, 그다음 날은 새로고침이 되어 이전에 신청한 글과 새로 색인이 안 된 글이 섞여버립니다. 여기서 이전에 수동 신청하지 않은 글을 다시 신청해야 하는데, 처음에는 캡처까지 해놓고 신청하기도 했는데요,
이렇게 색인이 되지 않은 글을 수동으로 신청하기도 어려운 상황에서 글을 발행할 때마다 수동으로 색인 신청한다는 것은 있을 수 없죠. 차라리 구글에서 긁어갈 수 있는 것은 그냥 두고 색인이 안 된 글만 다시 신청하는 것이 효율적입니다. 글을 발행할 때마다 수동으로 신청하는 것이 결코 좋은 것은 아니라는 경험자 이야기도 있습니다. 어느 쪽을 믿을지는 선택입니다.
구글 서치 수동으로 색인 신청하는 것에 분량이 많습니다만, 글을 발행할 때마다 수동으로 색인 신청하는 것은 의미가 없었고, 지금처럼 신청할 글 수가 몇 개되지 않았을 때는 위의 색인 되지 않은 사유 2번~9번까지 쭉 훑어서 신청합니다. 하지만 그 숫자가 늘어나면 마지막 8, 9번 사유만 신청했습니다. 그것도 구글 서치 로봇이 새로 고침할 때까지 신청을 못했던 때가 더 많았습니다.