Googlebot, Google tarafından kullanılan bir web arama botu’dur. Bazen “örümcek” olarak da adlandırılır. Bu bot web ortamındaki dökümanları toplar ve Google Arama Motoru için aranabilir bir içerik listesi (index) oluşturur. Googlebot‘un indeksleme yapabilmesi için sunucularda “googlebot.com” içeren bir web sitesi (host address )ve içinde Googlebot kelimesinin geçtiği bir user-agent kodlu metine ihtiyaç duyarlar. Bknz: robots.txt
Googlebot, algoritmaya dayalı bir işlem kullanır. Hangi sitelerin ne sıklıkta taranacağı ve her siteden kaç sayfa alınacağı bilgisayar programları tarafından belirlenir. Tarama, Googlebot’un Google dizinine eklenecek yeni ve güncel sayfaları bulmasını sağlayan işlemdir.
Googlebot’un iki sürümü vardır: “Derinbot” (deepbot) ve “yenileyici bot” (fresh bot). Deepbot, web ortamında bulunan bütün bağlantıları takip etmeye çalışır ve birçok sayfayı Google indeksleyicisine indirir. Bu işlemi ayda bir kez yapar ve tamamlar. Freshbot ise, web sayfalarındaki yenilenmiş içerikleri tarar. Sıklıkla yenilenen web sitelerini değişme sıklıklarına bağlı olarak tarar, değişikleri kontrol eder. Yalnız Googlebot, HREF ve SRC linkleri takip eder.
Googlebot bir sayfayı o sayfa üzerinde bulunan bütün bağlantıları ziyaret ederek işler sonra da o bağlantılardan başka web sayfalarına geçer. Bu nedenle ayrıca yeni web sayfaları indekslenmek için başka bilinen web sayfalarından ulaşılabilmelidir.
Site yöneticileri, Googlebot’un tarama yaptığı sırada siteye ayrılan bant genişliğinin çoğunu kullandığını ve bu nedenle web sitelerinin zaman zaman bant genişliği limitlerini aştığını ve geçici olarak sitelerinde çökmeler olduğunu belirtmektedirler. Bu durum özellikle onlarca gigabyte veri barındıran yansıma (ayna-mirror ) siteler için sorun olmaktadır. Google ayrıca site yöneticilerini tarama (indekslenme) oranlarını yükseltmek için çeşitli yolların anlatıldığı bir Webmaster Tools sayfasına sahiptir.
Googlebot tarafından kullanılan IP adresleri zaman zaman değişmektedir. Googlebot kendisini bir kullanıcı aracısı dizesiyle tanımlar, ancak bu özellik adres sahteciliğinde kullanılabilir. Googlebot’un erişimlerini tanımlamanın en iyi yolu, ters DNS araması kullanmaktır. Googlebot ve diğer güvenilir arama motoru botları robots.txt dosyasındaki yönergelere uyar, ancak bazı kötü amaçlı kişiler ve spam gönderenler bunlara uymaz. Spam’ı Google’a bildirin.
Eğer site yöneticiyseniz ve sitenizin Google aramalarında ya da herhangi bir arama motoru botunun indeksleme işleminde çıkmasını istemiyorsanız sitenizin dizininde bir robots.txt adlı dosya oluşturarak veya sadece Googlebot için buradaki (tıkla) meta etiketini kullanarak botların indekslemesini engelleyebilirsiniz.
