애드센스 광고크롤러 오류 해결방법 - 포스팅 과부하, 호스팅 서버에 연결 할 수 없음

오랜만에 포스팅을 해서 그럴까? 평소보다도 많은 유입자가 생겨서 나름 기분이 좋았다. 11월 28일부터 글을 쓰기 시작해서 한 며칠 지나 12월 1일되자 한 3-4배는 접속자 수가 뛰었다. 이래서 역시 글은꾸준하게 쓰는게 중요하다고 생각한다.

글을 다시 쓰자 늘어나기 시작한 블로그 방문자수

 

그러다보니, 당연히 인지상정으로 애드센스 수익이 그래도 조금 늘지 않았나 생각을 해서 애드센스로 들어갔는데? ** 이게 왠걸? 애드센스 수익이 전혀 늘지 않았던 것? 아래 그래프를 보면 알겠지만 생각보다 수익이 거의 늘지 않았던 것을 확인할 수 있다. 이럴 때 현타가 정말 제대로 오는 것 같다. 예전에도 이런 현타 때문에 글쓰기를 몇 번 쉰 적이 있었지. 그래서 애드센스를 들어갔는데, 그 이유가 있었다.

방문자수에 비해 생각보다 수익 차이가 너무 늘지 않았음

 

광고 크롤러 오류가 있으며 이 때문에 수익 손실이 발생할 수 있습니다

수익에 도대체 왜 문제가 있는지 확인해봤는데, 이게 왠말일까? "광고 크롤러에 오류가 있으며 이 때문에 수익 손실이 발생할 수 있다"는 애드센스 메인화면에 노란색 배너가 보이는 것이다. 어쩐지, 뭔가 너무 이상하게 애드센스 수익이 안 올랐더라니.

그래서 자세히 보기로 들어가보았는데, 아래와 같이 "호스팅 서버 과부하, 호스팅 서버에 연결할 수 없음"이라는 문제 유형과 함께 문제가 있는 페이지의 개수가 3개가 나왔다. 

광고 크롤러 오류 유형: 호스팅 서버 과부하, 호스팅 서버 연결 불가능

 

호스팅 서버 과부하

말그대로 서버에 과부하가 걸렸다는 이야긴데, 쉽게 말하면 갑자기 유입자가 많아져서 서버가 폭발 수준, 과부하가 걸렸다는 이야기이다. 근데 이게 좀 웃긴게 내 티스토리 블로그가 평소에 유입자 수가 무슨 몇천, 몇만 되는 것도 아니고 고작 몇백 수준인데 뭘 갑자기 이게 천단위가 넘어간다고 과부하가 걸리나? 하는 것이다. 추측컨데, 보통은 평소 트래픽 수준에 따라서 티스토리 서버 자체도 관리하는 서버가 다를 것이다. 예를 들어 일 트래픽이 평균 100명 이하라면 A 서버, 100-500명은 B서버, 500-1000은 C서버, 1000-5000 D서버 이런 식으로 평균의 방문자수, 트래픽 양에 따라서 관리를 할 건데 갑자기 유입자가 많아지면 그게 서버 관리에서 문제가 생기는 게 아닌가 싶다. 그래서 저러한 서버의 과부하라는 메시지와 함께 애드센스 수익도 제한이 생기는 것이라고 본다.

호스팅 서버 과부하

 

이렇게 되면 '수요가 제한'된다는 메세지가 뜨면서 애드센스 노출 자체가 줄어들게 되는 것이다. 즉 방문자 모두에게 애드센스 광구를 보여주지 않았다는 이야기로 애드센스 광고의 수익이 당연히 줄어들 수 밖에 없는 것이다. 또한 위에 적혀 있는 것처럼 '나열된 문제로 인해 크롤러가 이 페이지에 액세스할 수 없습니다. 참고로 이는 정책위반이 아닙니다'라는 말처럼 정책의 위반에 따른 제재가 아니므로 문제는 없으나 어쨌든 애드센스 광고 노출은 제재하겠다 이런 뜻.

티스토리 호스팅 서버가 결론은 불안정

저런 문구가 뜨는 가장 근본적 원인으로 구글은 티스토리 서버 자체에 문제가 있다고 돌려까기 하는 것이다. 아래 원인에 대한 해결방법으로 '사이트가 신뢰할 수 있는 서버 또는 서비스 제공업체에서 호스팅되도록 하는 것이 좋습니다'라는 내용인 것. 

일부 해결방법으로는 URL 색인생성 요청

일부 사이에서는 구글서치콘솔에서 해당 URL을 빠르게 크롤링 할 수 있도록 도와주면 좀 더 이러한 광고 크롤러 오류를 막을 수 있다고 한다. 구글서치콘솔로 들어가서 해당 URL에 대해 입력해보면 'URL이 구글에 등록되어 있지 않음'으로 색인생성이 완료되지 않았다고 나오는 경우가 있는데 이럴 경우는 빠르게 '색인생성'을 통해 구글봇이 문제가 있는 해당 페이지들을 빠르게 크롤링 해갈 수 있도록 수동으로 색인생성을 요청하는 것이 도움이 된다고 한다. 그러면 광고 크롤러 오류의 문구가 사라질 수 있는 가능성이 있따.

 

그냥 냅둬도 상관이 없음

이렇게 위와 같이 색인등록을 요청하고 완료가 되어 며칠이 지나도 광고크롤러 오류가 계속 남아있는 경우가 있다. 이럴 경우는 딱히 신경을 쓸 필요가 없고 냅두는게 가장 베스트이다. 위 이미지에서 광고 크롤러 오류에 대해 '해결해야하는 문제'라는 부분에서 "예"가 떠 있다면 반드시 해결해야겠지만, 위에는 "아니오"라고 떠 있기 때문에 굳이 블로거가 직접 나서서 해결하지 않아도 불이익을 받지 않는다는 이야기이다. 실제로 아래 애드센스 수익의 그래프를 보다시피 최초 11월 30일에 해당 문구가 처음 떴는데 그다지 수익이 없었고, 색인요청을 해서 2일이 지난 12월 2일에 수익은 오히려 늘었다고 볼 수 있겠다. 

광고크롤러 오류