구글봇
(
英語
:
Googlebot
)은
구글
이 使用하는
檢索 봇
소프트웨어이며
웹
으로부터
文書
를 蒐集하여
구글 檢索
엔진을 위한 檢索 可能한 索引을 만든다. 이 이름은 實際로 各其 다른 두 種類의
웹 크롤러
를 가리키기 위해 使用된다: 데스크톱 크롤러(데스크톱 使用者를 시뮬레이트하기 위함), 모바일 크롤러(모바일 使用者를 시뮬레이트하기 위함)
[1]
웹사이트는 구글봇 데스크톱과 구글봇 모바일에 依해 크롤링될 可能性이 있다. 要請 中 使用者 에이전트 文字列을 살펴봄으로써 구글봇의 서브타입을 識別할 수 있다. 그러나 두 種類의 크롤러 모두 robots.txt의 同一한 製品 토큰(useent 토큰)을 遵守하므로 robots.txt를 使用하여 구글봇 모바일 또는 구글봇 데스크톱을 選別的으로 指定할 수 없다.
웹마스터
가 구글봇이나 다른
스파이더
에 利用할 수 있는 사이트의 情報를 制限하고 싶다면
robots.txt
파일에 適切한 디렉티브를 指定하여 該當 作業을 遂行할 수 있으며,
[2]
메타 태그
<meta name="Googlebot" content="nofollow" />
를 웹 페이지에 追加하여 進行할 수도 있다.
[3]
웹 서버
對한 구글봇의 要請은 "Googlebot"을 包含하는
使用者 에이전트
文字列, "googlebot.com"을 包含하는 호스트 住所로 識別이 可能하다.
[4]
現在 구글봇은
HREF
링크와 SRC 링크를 따른다.
[2]
구글봇이 자바스크립트를 實行하고
Ajax
呼出에 依해 生成된 콘텐츠의 構文을 分析할 수 있다는 情況이 있다.
[5]
[6]
進步된 구글봇의 機能을 說明하는 여러 理論들을 뒷받침하는 것은 자바스크립트를 處理하는 것이다.
[7]
[8]
[9]
現在 구글봇은 크롬 41(M41) 基盤의 웹 렌더링 서비스(WRS)를 使用한다
[10]
. 구글봇은 모든 文書의 모든 링크를 찾아들어가면서 페이지를 發見한다. 그 다음 다른 웹 페이지의 이 링크들을 따라간다. 새 웹 페이지들은 웹 上에 알려진 다른 文書들과 連結되어 있어야 웹마스터가 크롤링, 索引, 手動 提出을 할 수 있게 된다.
미디어봇
[
編輯
]
미디어봇은 內容 分析을 위해
구글
이 使用하는
웹 크롤러
이며 이를 利用하여
구글 애드센스
는 文脈上 適切한 廣告를 웹 페이지에 서비스할 수 있다. 미디어봇의 使用者 에이전트는 "Mediapartners-Google/2.1"이다.
다른 크롤러들과 달리 미디어봇은 새로운 크롤링 可能한 URL을 發見하기 위해 링크를 따라가지 않으며 애드센스 코드에 包含된 URL만을 訪問한다. 콘텐츠가 로그인 뒤便에 存在하는 境遇 크롤러에 로그인을 提供하여 保護된 內容을 크롤링하는 것이 可能하다.
各州
[
編輯
]
外部 링크
[
編輯
]
