Vikipedi, ozgur ansiklopedi
Googlebot
,
Google
tarafından kullanılan bir arama botudur. Bu bot
web
'deki dokumanları toplar ve
Google Arama
Motoru icin aranabilir bir icerik listesi (index) olu?turur. E?er site yoneticiyseniz ve sitenizin Google aramalarında ya da herhangi bir
arama motoru
botunun indeksleme i?leminde cıkmasını istemiyorsanız sitenizin dizininde bir
robots.txt
adlı dosya olu?turarak,
[1]
ya da sadece Googlebot icin a?a?ıdaki meta etiketini kullanarak botların indekslemesini engelleyebilirsiniz.
<
meta
name="Googlebot" content="noindex">
Googlebot'un indeksleme yapabilmesi icin, sunucularda "googlebot.com" iceren bir web sitesi (host address) ve icinde Googlebot kelimesinin gecti?i bir user-agent kodlu metine ihtiyac duyarlar.
[1]
Bakınız :
robots.txt
Googlebot'un iki surumu vardır: "Derinbot" (
deepbot
) ve "yenileyici bot" (
fresh bot
).
- Deepbot Web'de bulunan butun ba?lantıları takip etmeye calı?ır ve bircok sayfayı Google indeksleyicisine indirir. Bu i?lemi ayda bir kez yapar ve tamamlar.
- Freshbot web sayfalarındaki yenilenmi? icerikleri tarar. Sıklıkla yenilenen web sitelerini de?i?me sıklıklarınıa ba?lı olarak tarar, de?i?ikleri kontrol eder. Yalnız Googlebot HREF ve SRC linkleri takip eder.
[1]
Googlebot bir sayfayı, o sayfa uzerinde bulunan butun ba?lantıları ziyaret ederek i?ler, sonra da o ba?lantılardan ba?ka web sayfalarına gecer. Bu nedenle ayrıca yeni web sayfaları indekslenmek icin ba?ka bilinen web sayfalarından ula?ılabilmelidir.
Site yoneticileri, Googlebot'un tarama yaptı?ı sırada siteye ayrılan bant geni?li?inin co?unu kullandı?ını ve bu nedenle web sitelerinin zaman zaman
bant geni?li?i
limitlerini a?tı?ını ve gecici olarak sitelerinde cokmeler oldu?unu belirtmektedirler. Bu durum ozellikle onlarca gigabyte veri barındıran yansıma?ayna-- (ing. mirror) siteler icin sorun olmaktadır. Google ayrıca site yoneticilerini tarama (indekslenme) oranlarını yukseltmek icin ce?itli yolların anlatıldı?ı bir Webmaster Tools sayfasına sahiptir.
[2]
