광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.

 

안녕하세요 헨리입니다.

구글 애드센스 광고 게재 제한이 해결된 이후 수시로 애드센스에 접속하여 어떠한 문제들이 있는지

확인하는 습관이 생겼습니다. 그런데 이번에 들어가 보니 또 다른 문제가 생겨있더군요. 들어가자마자

보이는 노란색 경고창.. 보자마자 깜짝 놀라서 확인을 해보았습니다. 내용은 "광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."라는 문구. 무엇인지 확인을 해보았습니다.

 

먼저 크롤러라는 게 무엇인지부터 알아보겠습니다.

웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다.

웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더 링'(spidering)이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱 한다. 또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는 데도 사용된다.

웹 크롤러는 봇이나 소프트웨어 에이전트의 한 형태이다. 웹 크롤러는 대개 시드(seeds)라고 불리는 URL 리스트에서부터 시작하는데, 페이지의 모든 하이퍼링크를 인식하여 URL 리스트를 갱신한다. 갱신된 URL 리스트는 재귀적으로 다시 방문한다.

출처 : 위키백과

 

쉽게 설명하면 구글 봇인데 구글 봇이 해당 페이지의 데이터를 수집 못해서 확인되지 않은 웹페이지로 분류하여 광고를 게재할 수 없다는 내용 같습니다. 그러면 하루빨리 조치를 해야 되는 내용일까요?

 

 

 

위의 사진을 보시면 어느 페이지의 크롤러 오류가 있는지 자세히 볼 수 있습니다.

먼저 ①의 내용은 크롤러 오류가 있는 웹페이지 ②의 내용은 구글 애드센스 정책을 위반하는 상태인지

③의 내용은 광고 게재 상태가 어떤지 보여주고 있습니다.

 

 

여기서 중요한 것은 ②입니다. ②의 내용이 "아니요"라고 표시되어 있는 것은 구글 애드센스 정책을 위반하지 않기 때문에 딱히 수정할 필요성은 없다는 뜻입니다. 그리고 크롤러 오류는 페이지 조회수가 많지 않은 페이지에서는 크게 문제가 되지 않는 문제이기 때문에 며칠 정도 경과를 지켜보고 해결하는 방법도 있다고 합니다.

 

그럼 여기서 해결방법이 있는 것 또한 사실입니다. 어떻게 해결하면 되지는 지금부터 알아보겠습니다.

해결방법에서 게시자가 취할 수 있는 조치에 나와있는 문구는 아래와 같습니다.

 

애드센스 크롤러의 작동 방식을 숙지하시기 바랍니다. 예를 들어 애드센스 크롤러는 URL을 기준으로 색인을 생성하며 robots.txt 파일에 의해 차단된 페이지나 디렉터리에는 액세스 하지 않습니다. 애드센스 크롤러는 Google 크롤러와도 다릅니다.

 

내용을 보면 "url기준으로 색인을 생성하며 로봇에 의해 차단된 페이지에는 액세스 하지 않습니다." 라고 하네요. 정책센터에도 엑세스 문제는 아래와 같이 나와있습니다.

 

"제한을 해제하거나 모든 사용자가 콘텐츠에 액세스 할 수 있도록 설정하여 광고 크롤러가 url을 크롤링할 수 있도록 하세요"라고 나와 있네요. 그럼 url을 크롤링할 수 있도록 색인 요청을 하면 되는 것입니다.

 

url 색인 요청은 블로그에 글을 작성 한 이후에 구글 검색 봇이 크롤링하여 자동 검색을 등록하지만 보다 빠른 요청을 하는 것이 url 색인 요청이라고 보시면 됩니다. 이것은 구글 서치 콘솔에서 가능합니다.

 

 

url색인 생성 요청 전에 해당 페이지에 url관련 문제가 있는지 구글 서치 콘솔에 들어가서 해당 포스팅의 url을 검사를 진행합니다.

 

 

 

검사가 끝이 났는데 큰 문제는 없는 것으로 보입니다. 만약 여기서 url이 Google에 등록되지 않았다는 문구가 나오면 url 색인 생성을 요청해야 하는데 큰 문제는 없으니 그냥 기다려도 될 것 같습니다.

 

오늘은 "광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다." 알아보았는데요 구글 애드센스 오류는 어떤 것이든 반갑지는 않네요 ㅎㅎ 그럼 오늘은 여기서 마무리하겠습니다. 읽어주신 모든 분들 감사합니다^