블로그 폐쇄는 상식적인 선에서 처리하면 될 것 같았는데
구글 블로그를 최근 두 개를 삭제했는데 아직도 검색에서 올라옵니다. 이 두 개 블로그의 글이 사라지는 시간이 똑같지 않습니다. 글이 사라지는 속도가 다른 이유는 흔히 많이 들었던 크롤링하는 것이 똑같지 않습니다. 그리고 또 자주 듣는 말이 알고리즘 정책 변화에 따라 특정 페이지가 더 빠르게 또는 느리게 제거될 수 있습니다. 그러니까 검색 엔진에서 하는 일에는 색인이 되는 것과 삭제하는 것에는 상관하지 말고 처분을 기다리라는 것과 같습니다.
그런데 블로그 삭제하는데도 올바른 방법이 있습니다. 상식적으로는 구글 서치 계정 삭제하고 각 검색엔진 웹마스터도구에 등록된 계정 또한 삭제하는 것이 해당 검색 엔진에 노출을 차단하는 방법으로 알고 있었는데요, 그런 것이 올바른 방법이 아니었습니다.
지난달 폐쇄했던 블로그는 30일정도 지난 지금도 올라오는데 이제는 글을 클릭하면 404 오류 메시지가 올라옵니다. 404 오류 또한 완전히 글이 사라진 것은 아니기에 검색이 되지 않을 때까지 기다리는 것이 안전합니다. 안전하다는 것은 해당 블로그 글을 다른 곳에서 옮기기 위해 기다리는 것이죠. 사실 404 오류가 나왔다고 하면 조만간 해당 사이트는 검색에서 찾을 수 없게 될 겁니다.
이번 달 6일에 폐쇄했던 글 400개 블로그는 지금 날짜로는 11일째이지만 검색하면 보이는 글은 5개까지 줄었는데요, 여기에 보이지 않는 글은 옮겨도 됩니다. 사실 제목 또는 일부 글만 보이는 상태에서 클릭하면 404 오류가 보인다면 이 정도면 괜찮을 수도 있습니다만, 그래도 기다리는 것이 좋다는 것은 페이지가 삭제되더라도, 검색 엔진은 일정 기간 해당 페이지의 캐시된 버전을 기억할 수 있어 중복 포스팅으로 인식할 수 있습니다. 물론 이것도 운영하기 나름이지만, 그대로 가져오는 경우라면 조금 더 기다리는 것이 좋습니다.
그런데, 보통 블로그 폐쇄할 때 검색엔진에 등록된 계정부터 삭제하는데 이 방법이 잘못되었다면 어떻게 하는 것이 옳을까요. 간단하게 생각하면 블로그를 개설하고 검색엔진 등록했으니, 폐쇄할 때는 반대로 계정 삭제하고 블로그 닫아버리면 될 것 같은데요, 블로그 폐쇄할 때 옳은 방법을 알아봅니다.
1. 만약을 위해 백업을 합니다.
2. 가장 좋은 것은 포스팅을 삭제하는 것인데, 그렇지 못하니 비공개로 돌립니다.
3. robots.txt 파일 업데이트
블로그의 robots.txt 파일을 수정하여 검색 엔진 크롤러가 사이트를 큵어가지 못하도록 설정합니다.
User-agent: *
Disallow: /
4. 구글 블로그라면 검색 표시됨도 허용하지 않음으로 돌립니다.
잠시 설명하고 넘어가겠습니다. 앞선 두 개의 블로그를 폐쇄했는데 지난달에 폐쇄한 블로그는 포스팅 50여 개, 이번 달에 폐쇄한 블로그는 글이 400여 개 됩니다. 그런데도 글이 많고 이번 달에 폐쇄한 블로그가 더 빨리 검색에서 지워지고 있습니다. 이런 이유는 위에서 적은 것처럼 크롤링의 차이라고 할 수도 있는데, 그 외의 차이라고 하면 <meta content='noindex' name='robots'/> 이 코드는 지난달에 폐쇄한 글 50여 개의 블로그에는 넣지 않았고, 이번 달에 폐쇄한 글 400여 개의 블로그에는 들어갔습니다.
5. 구글 서치 등 검색엔진 웹마스터도구에서 계정을 삭제하지 않는 이유는, 지금처럼 글이 삭제되지 않을 때 해당 글을 삭제 요청할 수 있습니다. 글 삭제요청과 사이트맵 등을 살펴보는 것이 빠르게 폐쇄할 수 있다고 하는데요, 지금까지 한 번도 이렇게 한 적이 없었습니다. 그리고 지금처럼 오랫동안 글이 보인 적도 없었는데요, 마냥 사라질 때까지 기다리지 말고 안 없어지는 글은 삭제요청을 했더라면 더 빠르게 폐쇄할 수도 있었겠죠. 다음에는 폐쇄하는 블로그가 없어야겠지만, 어쩔 수 없다면 올바른 방법으로 깔끔하게 처리하겠습니다.