Googlebot Nasıl Çalışır?
Googlebot, Google'ın arama dizinini oluşturmak için web sitelerinden içerikleri toplar. Googlebot, belgeleri sürekli olarak toplayarak oluşturulan yeni sayfaları ve daha önceden taradığı web sayfalarındaki güncellemeleri keşfeder.
Googlebot, hangi sitelere bakılacağını, hangi oranlarda bakılacağını ve kaç adet sayfadan içerik alınacağını belirlemek için çeşitli algoritmalar kullanır.
Googlebot, işleme daha önceki oturumlardan oluşturduğu bir listeyle başlar. Var olan bu liste daha sonra web sitelerinin yöneticileri tarafından sağlanan site haritaları tarafından artırılır. Googlebot, taradığı web sitelerine bağlı bütün öğeleri tarar, yeni linkler, yeni siteler, sitelerde yapılan güncellemeler ve ölü bağlantıları belirler. Toplanan bütün bu bilgiler Google arama motorunun web dizinini güncellemek için kullanılır.
Googlebot, web sitesi yöneticileri tarafından oluşturulan robots.txt dosyalarında belirtilen sınırlamalar dahilinde bir dizin oluşturur. Bir web yöneticisi, web sitesindeki sayfaları Google arama sonuçlarında çıkmamasını isterse, Googlebot'u sitenin en üst düzey klasöründeki robots.txt dosyasında engelleyebilir. Googlebot'un web sitesinin bazı bir sayfalarındaki bağlantıları izlemesini önlemek için nofollow meta etiketini ekleyebilir eğer Googlebot'un bağımsız bağlantıları görmesini engellemek için web yöneticisi bağlantılarında kendisine rel = "nofollow" ekleyebilir.
Google, sitedeki bant genişliğini zorlamadan mümkün olduğunca çok siteyi dizinine eklemeye çalışır. Bir web yöneticisi eğer Googlebot'un çok fazla bant genişliği kullandığını belirlerse, Google Search Console ana sayfasında 90 gün boyunca geçerli olacak bir oran da belirleyebilir.
