애드센스 광고 크롤러 오류처리 따라하기
애드센스 광고 크롤러란 무엇인가?
애드센스 공식사이트에서 크롤러는 스파이더 또는 봇이라고 칭하며 콘텐츠를 처리하거나 색인작업하는 소프트웨어입니다. 크롤러가 주기적으로 사이트를 조사하여 콘텐츠와 매우 관련성이 높은 광고를 게재하게 됩니다. 결국 봇이 특정시기에 각 사이트에 존재하는 모든 페이지들을 확인하고 콘텐츠를 매칭하는 작업들을 하고 있는 셈이죠.
애드센스 측에서는 광고 크롤러를 아래와 같이 정의합니다.
- "크롤러 보고서는 주 1회 업데이트" - 이 주기가 꽤 긴편입니다. 색인이라는 작업이 이루어지는데 통상 1주일이 걸리니, 내가 작업하거나 수정한 페이지가 봇이 알기까지 최장 1주일이 걸린다고 생각하시면 되겠습니다.
- "구글의 크롤러와는 다르다" - 구글에서는 사용자의 검색하는 취향이나 그 이외의 모든 것들을 취합하고 있거나 분석하는 크롤로이고, 사이트에서의 애드센스 크롤러는 봇들이 콘텐츠와 광고의 매칭을 수집하는 녀석이라고 보시면 될 것 같네요.
- "색인 생성은 URL 기준이다." - 광고 크롤러는 하나의 사이트 내의 종속된 페이지 기준으로 색인 생성을 한다는 것이 주요 관점사항입니다.
- "크롤러는 디렉토리는 액세스 하지 않는다." - 이 말은 광고를 어디에 게재하느냐의 관점입니다. 광고 크롤러는 광고를 게재하기 위한 주체, 바로 페이지 기준이라는 의미로 보시면 되겠습니다.
- 그 외에 몇가지가 더 있는데요. 결국은 URL 기준으로 크롤러는 동작하는 얘기들입니다.
애드센스 크롤러 문제 해결하는 방법
크롤러에서 내보내는 대다수의 오류는 Client의 오류보다는 사이트와 상호작용 이슈들이 많습니다.
첫 번째, 액세스 문제입니다. (IP범위, robots.txt 광고차단, 사이트에 로그인 이슈 등)
두 번째, 404 오류와 같은 페이지 오류가 있습니다.
세 번째, 사이트에서 리디렉션(다른 페이지로 전환) 시, 크롤러가 따라가다가 오류발생.
네 번째, 페이지와 크롤러 사이에서의 지연문제
다섯 번째, 호스팅 문제 (네임서버 문제, 오류코드 500번대 서버의 문제)
크롤러 문제 처리방법 따라 하기
1. 광고 크롤러 메시지 확인하기
애드센스에 로그인하면 상단에 아래와 같이 메시지가 떠있으면 광고 크롤러 오류입니다.
"광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다"
2. 광고 크롤러 오류발생 URL 확인하기
위의 메시지에서 클릭하고 진입하면 아래와 같이 광고 크롤러가 오작동(광고 게재 제한) 한 것을 확인할 수 있습니다.
오류 난 페이지를 열어보아도 어떤 이슈때문인지~, 특별한 문제가 있는 것을 찾기 어렵습니다.
수정을 클릭하고 들어가 봅니다.
3. 문제 세부정보 확인하기
문제가 있는 페이지를 복사합니다. (메모장에 붙여놓아 주세요, 마지막에 이 복사한 URL을 사용하게 됩니다)
문제 내용을 보니, 크롤러 호스팅 서버에 연결할 수 없음으로 쓰여있네요. 정책문제가 아니라고 나와서 마음을 쓸어내립니다.^^, 호스팅연결의 문제라는 것은 결국 페이지에서 세션정보를 찾을 수 없다는 것이고, 로그인 문제라고 보시면 되겠습니다.
4. 크롤로 액세스 메뉴로 들어가기
- 로그인 추가 버튼을 클릭합니다.
1. 위에서 복사한 문제가 되는 URL을 붙여 넣기 합니다.
2. 본인의 티스토리(사이트) 주소를 넣습니다.
3. POST 방식으로 선택합니다.
4. 본인의 티스토리를 로그인 계정을 넣습니다.
5. 본인의 티스토리 로그인 패스워드를 넣습니다.
6. 모두 작성하셨으면, "로그인추가"를 선택합니다.
5. 추가된 로그인 정보 확인하기
로그인 정보를 추가 완료를 하게 되면 "크롤링 안 함"으로 되어 있는 것이 정상처리 된 것이며, 이후 크롤링 작업 진행 시에 정상으로 처리될 것입니다. (빠르면 몇 분 안에 크롤링으로 바뀔 것이고, 며칠 걸릴 수 있습니다.)
6. 크롤링 확인하기
저는 1분 지나서 갱신해보니, 아래처럼 크롤링으로 처리되었습니다.
