Googlebot nedir ? Ne işe yarar ?

webwebi 10 Nisan 2016 Google 1 981 767 kelime - 5 dakika19

---

Bu yazıya puan ver

(No Ratings Yet)

Loading...

---

Googlebot, Google’ın web tarama botudur (bazen “örümcek” olarak da adlandırılır). Tarama, Googlebot’un Google dizinine eklenecek yeni ve güncel sayfaları bulmasını sağlayan işlemdir.

Web’deki milyarlarca sayfayı bulup getirmek (veya “taramak”) için muazzam sayıda bilgisayardan yararlanırız. Googlebot algoritmaya dayalı bir işlem kullanır: hangi sitelerin ne sıklıkta taranacağı ve her siteden kaç sayfa alınacağı bilgisayar programları tarafından belirlenir.

Googlebot’un tarama işlemi, önceki tarama işlemlerinde oluşturulan web sayfası URL’lerinin listesiyle başlar ve web yöneticileri tarafından sağlanan Site Haritası verileriyle artar. Googlebot, bu web sitelerini ziyaret ettiğinde her sayfadaki bağlantıları (SRC ve HREF) tespit eder ve bunları taranacak sayfalar listesine ekler. Yeni siteler, mevcut sitelerdeki değişiklikler ve geçersiz bağlantılar belirlenerek Google dizinini güncellemek için kullanılır.

Webmasterlar için Googlebot

Googlebot sitenize nasıl erişir?

Çoğu site için, Googlebot’un, sitenize ortalama olarak her birkaç saniyede birden fazla erişmemesi gerekir. Ancak, ağ gecikmeleri yüzünden, kısa dönemlerde bu hızın biraz daha yüksek olduğunu görebilirsiniz. Genel olarak, Googlebot her defasında her bir sayfanın yalnızca bir kopyasını indirmelidir. Googlebot’un bir sayfayı birden çok kez indirdiğini görürseniz, bunun nedeni muhtemelen tarayıcının durup yeniden başlamış olmasıdır.

Googlebot, performansını artırmak ve web büyüdükçe ölçeklenmesini sağlamak için birçok makineye dağıtılmak üzere tasarlanmıştır. Ayrıca, bant genişliği kullanımını azaltmak amacıyla çok sayıda tarayıcıyı ağda dizine ekledikleri sitelere yakın yerlerde bulunan makinelerde çalıştırırız. Dolayısıyla, günlüklerinizde google.com’daki birkaç makineden, tümü de Googlebot kullanıcı aracısına sahip ziyaretler görebilirsiniz. Amacımız, sunucunuzun bant genişliğinde aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Tarama hızının değiştirilmesi için istekte bulunun.

Googlebot’un sitenizdeki içeriğe erişmesini engelleme

Bağlantılarını yayınlamayarak bir web sunucusunu gizli tutmak neredeyse imkansızdır. Bir kullanıcı “gizli” sunucunuzdaki bir bağlantıyı izleyerek başka bir web sunucusuna gittiği anda “gizli” URL’niz yönlendiren etiketinde görülebilir ve diğer web sunucusu tarafından yönlendiren günlüğüne kaydedilip herkesin erişebileceği şekilde yayınlanabilir. Benzer bir şekilde, İnternet’te çok sayıda eski ve bozuk bağlantı bulunmaktadır. Biri sitenize hatalı bir bağlantı yayınladığında veya mevcut bağlantıları sunucunuzdaki değişiklikleri yansıtacak şekilde güncellemediğinde, Googlebot sitenizden hatalı bir bağlantı indirmeyi dener.

Googlebot’un sitenizdeki içeriği taramasını önlemek istiyorsanız, sunucunuzdaki dosyalara ve dizinlere erişimi engellemek için robots.txt dosyasını kullanmayı da kapsayan çeşitli seçenekleriniz vardır.

Siz robots.txt dosyanızı oluşturduktan sonra, Googlebot’un değişikliklerinizi keşfetmesinde küçük bir gecikme olabilir. Googlebot, robots.txt içinde engellediğiniz içeriği taramaya devam ediyorsa, robots.txt dosyasının doğru konumda olup olmadığını kontrol edin. Dosya, sunucunun en üst dizininde (ör. www.anamakinem.com/robots.txt) olmalıdır; alt dizinlerden birine yerleştirilirse dosyanın hiçbir etkisi olmaz.

Web sunucusu günlüğünüzdeki “dosya bulunamadı” hata iletilerini önlemek istiyorsanız, robots.txt adlı boş bir dosya oluşturabilirsiniz. Googlebot’un sitenizin bir sayfasındaki hiçbir bağlantıyı izlememesini istiyorsanız, nofollow meta etiketini kullanabilirsiniz. Googlebot’un tek bir bağlantıyı izlemesini önlemek için bağlantının kendisine rel=”nofollow” özelliği ekleyin.

Aşağıda bazı ek ipuçları sunulmuştur:

Robots.txt dosyanızın beklendiği şekilde çalışıp çalışmadığını test edin. Engellenen URL’ler sayfasındaki (Sağlık altında bulunur) robots.txt test aracı, Googlebot’un robots.txt dosyanızın içeriğini nasıl yorumlayacağını tam olarak görmenize olanak tanır. Google kullanıcı-aracısı (yeterince uygun bir şekilde) Googlebot’tur.

Web Yöneticisi Araçları’ndaki Google gibi Getir aracı, sitenizin Googlebot tarafından tam olarak nasıl görüldüğünü anlamanıza yardımcı olur. Bu aracın, sitenizin içeriğiyle veya arama sonuçlarında keşfedile bilirliğiyle ilgili sorunları giderirken çok faydası dokunabilir.

Kaynak: Googlebot – Web Yöneticisi Araçları Yardım.