Crawl Budget, Türkçe anlamıyla tarama bütçesi Google arama botlarının bir siteye ayırdığı bütçedir. Günlük olarak sitedeki tüm sayfaların kaç ziyaretçi çektiğini hesaplamakta ve hangi sayfaların taranacağına karar vermektedir. Her sitenin içinde bulunduğu otoriteye, sağlıklı sunucuya, kaliteli içerik sayısına ve teknik uyuma bakar. Böylece web sitesinin tarama maliyetlerinde ve süresinde azaltma yaparak sitede etkili kullanım planı yapılabilmektedir.
Google dünyanın en çok tercih edilen arama motorudur. Bir web sitesi, Google’ı tanımadan ve özelliklerini doğru bir şekilde kullanmadan internet dünyasında başarılı olamaz. Bu yüzden web sitenizin başarısını artırmak için Google tarafından sevilen bir site olmanız gerekmektedir.
E-Ticaret 101 Akademi olarak bu yazımızda bir web sitesinin sağlıklı ve başarılı olmasına katkı sağlayan tarama bütçesi konusunu tüm detaylarıyla ele alacağız. Keyifli okumalar dileriz.
İlginizi Çekebilir: Google Data Studio Nedir? Nasıl Kullanılır?
Crawl Budget(Tarama Bütçesi) Nedir?
Günümüz internet dünyasında milyarlarca site bulunmakta ve her gün yenileri dahil olmaktadır. Ayrıca bu sitelere sürekli olarak yeni sayfalar eklenmektedir. Durum böyle olunca bütün sitelerin taranmasında kaynaklar yetersiz kalmaktadır. Bu noktada tarama bütçesi devreye girmektedir.
Crawl Budget bir sayfanın Google botları (örümcekleri) tarafından belirlenen öneme göre günlük olarak ziyaret edildiği sayfa sayısıdır. Arama motorunda bu önem sitelerin SEO uyumluluğuna bakılarak listelenmektedir. Amaç bütçeyi verimli kullanmaktır. Google her siteyi tararken limitli bütçesini farklı miktarlara ayırır. Bu bütçeyi SEO açısından güçlü olmayan sayfalar yerine güçlü olan sayfalara harcar. Bu yüzden web sitesinin sağlığı, boyutu ve popülerliği gibi faktörleri dikkate alır.
Crawl Budget Nasıl Belirlenir?
Crawl Budget genel kapsamda 4 faktörü baz alır. Bunlar web sitesi hızı, web sitesi boyutu, backlink sayısı ve Google indeksine eklenme oranlarıdır.
- Web Sitesi Hızı
Web sitesi hızı, tarama bütçesini yükseltmenin en önemli unsurudur. Hızlı yükleme yapan web siteleri müşterilerin site içinde daha uzun süre gezinmelerini sağlar. Çünkü müşteri kaybının en önde gelen nedenlerinden biri yavaş açılan sitelerdir. Hızlı çalışan site kullanıcıları mutlu ve tatmin ettiği için Google örümcekleri bu durumu olumlu değerlendirir. Google botları hızlı açılan ve hızlı taranan sayfaları eş hızda işler.
- Web Sitesi Boyutu
Web sitesinde yer alan bütün dosyalar Google örümcekleri tarafından indirilir ve sonrasında taranır. Bu yüzden bu dosyaların boyutları Google botlarının siteye ayırdığı kaynak ve süreyi belirler. Dosya boyutları yüksek olan bir sitede botlar fazla emek ve zaman harcar. Bu durumda siteye ayrılan tarama düşmeye başlar.
- Backlink Sayısı
Backlink sayısı kısaca bir sitenin hızı ve aldığı referans bağlantıları ile alakalıdır. Başka web siteleri tarafından referans gösterilme sayısı arttıkça tarama olumlu yönde etkilenmektedir. Çünkü Google botları tarama yaparken her sayfayı indeksler. İndekslediği sayfalarda yer alan linkleri tarayarak referans verilen sayfaya da uğrar. Bu yüzden içerik hazırlarken sayfaya site içerisinden de bağlantı eklemek önemlidir.
- Google İndeksine Eklenme Oranları
Google indeksine eklenme oranları taramayı doğru orantıda etkiler. Google botları her site ziyaretinde indekslenen sayfaları incelmektedir. Bu kapsamda yeni bağlantıları tarar ve belirli bir sınıflandırma ile arama sonuçlarına ekler. Site trafiği belirli bir oranın altına düştüğü zaman site indeks değeri azalır.
Tarama Bütçesini Olumsuz Etkileyen Faktörler Nelerdir?
Tarama bütçesini olumsuz etkileyen faktörlerden birkaçı şunlardır:
- Yavaş Sayfa Yükleme Süresi: Web sitesinin hızlı yüklenmesi taramanın temel unsurudur.
- Yinelenen İçerikler: İçerikler tekrara düşmemelidir.
- Düşük Kaliteli İçerikler: İçerik kalitesi yüksek olmalıdır.
- Kopya İçerikler: İçerikler özgün olmalıdır.
- Hacklenmiş Sayfalar: Siteler güvenli olmalıdır. Siteler hacklendiği zaman güven değeri ve tarama sıklığı olumsuz etkilenmektedir.
- Sağlıklı Olmayan Sunucular: Sunucunun teknik yapısı verimli bir şekilde düzenlenmelidir. Google botları sitenin sağlıklı olmadığını belirlerse tarama istek sayısını ve hızını düşürebilmektedir.
- 404 Hata Sayfası: Sayfanın HTTP 404 durum kodu vermesi bütçeyi olumsuz etkiler. Sitenin içerisinde hata kodu olmadığına emin olunmalıdır. Ayrıca site içi veya site dışı bağlantılarının hata kodu içermediğine dikkat edilmelidir. Böylece tarama istekleri boşa harcanmaz.
- Yönlü Gezinme: Yönlü gezinme kullanıcıların işlemlerini kolaylaştırmak için yapılır. Çoğunlukla e-ticaret sitelerinde görülen yönlü gezinme doğru kullanılmadığı zaman bütçeyi olumsuz etkiler.
Crawl Budget SEO İçin Neden Önemlidir?
Tarama bütçesi SEO içinde kullanılan yaygın bir kavramdır. SEO, büyük ölçüde yapılan binlerce işin küçük şeylere dikkat edilerek optimize edilmesidir. Bir sitenin SEO ile uyumu ne kadar yüksekse Google’ın siteye ayırdığı tarama bütçesi de o kadar yüksek olur. SEO stratejileri için yapılması gerekenlerin büyük bir çoğunluğu taramayı optimize etmek için de kullanılmaktadır. Taramayı iyileştirmede kullanılan site performansı, kırık linkler ve kaliteli içerikler gibi çoğu unsur SEO’nun da unsurudur. Sonuç olarak taramayı boşa harcamak SEO performansını olumsuz etkiler. Bu yüzden sitenizin SEO uyumunu artırarak daha çok organik trafik çekebilir ve taramayı artırabilirsiniz.
İlginizi Çekebilir: Google EAT İle Sitenizi SEO Dostu Yapacak 5 Yöntem
Crawl Budget Nasıl Hesaplanır?
Crawl Budget şu şekilde hesaplanmaktadır:
- Dizine Eklenen Toplam Sayfa Sayısı / Günlük Taranan Sayfa Sayısı = Tarama Bütçesi
Bunlar şu şekilde bulunur:
- Dizine Eklenen Toplam Sayfa Sayısı: Bunun için Google Search Console ‘a girilir. Ardından açılan Menü’den sırası ile Google Dizini ve Dizin Durumu’na tıklanır.
- Günlük Taranan Sayfa Sayısı: Bu rakama ulaşmak için de sırası ile Google Search Console ve Menü’ye girilir. Ardından sırasıyla Tarama ve Tarama İstatistikleri’ ne tıklanır.
Bu işlem sonucunda ulaşılan rakam şu şekilde değerlendirilir:
- 10’un üzerinde ise sitede hemen tarama bütçesi optimizasyon çalışması yapılmalıdır.
- 3 ve altında ise sitenin tarama bütçesi pozitif durumdadır.
- 3 – 10 arasında ise sık sık günlük taranan sayfa sayısı kontrol edilmelidir. Düşmesi durumunda önlem alınmalıdır. Böylece denge kurularak sitenin başarısı artırılmaktadır.
Crawl Budget Nasıl Optimize Edilir?
Tarama bütçesini optimize etmek Google botlarının web sitesine daha çok uğramasını sağlamaktır. Bu yüzden ideal veya yüksek değeri korumak isteyenler için öneriler sunulmaktadır. Sonuçta bu değer nasıl optimize edilir?
Taramanın nasıl belirlendiği, nasıl hesaplandığı ve SEO çalışmalarındaki önemine değindik. Diğer bir taraftan da bütçenin olumsuz etkilendiği faktörlerden bahsettik. Bunları kısaca hatırlatmak gerekirse;
- Web sitenizin hızını ve Google indeksine eklenme oranlarını artırmalısınız.
- Sitede bulunan dosyaların boyutunun büyük olmadığına dikkat etmelisiniz.
- Daha çok backlink sayısı yani diğer sitelerin referans gösterimine sahip olmalısınız.
- Sitenizdeki linklerin 404 hata kodu vermediğine dikkat etmelisiniz.
- İçerikleriniz tekrarlamayan, özgün ve kaliteli olmalıdır.
- Sitenin popülerliğine, sağlık durumuna, hacklenmediğine ve yönlü gezinmesine dikkat etmelisiniz.
Öncelikle bu bilgiler ışığında bütçe için önlemler alınabilir. Böylece Google botlarının siteyi daha çok ziyaret etmesi sağlanabilmektedir. Ancak bu bilgiler optimize çalışmalarınızda yeterli olmazsa aşağıdaki çalışmaları da yerine getirmeniz gerekmektedir.
Robots.Txt’de Önemli Sayfaların Taranmasına İzin Verin
Bir robots.txt dosyası bir sayfanın saniyeler içinde taranmasına izin vermeyi veya engellemeyi sağlar. Örneğin bir web sitesinde Robots.txt dosyasını yönetmek için bir web sitesi denetçi aracı kullanılabilmektedir.
- Yönlendirme ile Alakalı Sorunları Çözün
Web sitesindeki kırık linkleri ve ilgisiz sayfalara yönlendirmeleri düzeltin. Bu durum Google botları tarafından olumsuz olarak algılanır. Bu yüzden kırık linkler ve ilgisiz bağlantılar yok edilmelidir. Örneğin bir e-ticaret sitesinde Sepet’e gitmek isteyen bir kullanıcının başka bir sayfaya yönlendirilmesi.
2. Gereksiz Dizinleri Kaldırın
Web sitesindeki gereksiz sayfaları engelleyin. Google botlarının her işlemde bu sayfaları indekslemesi siteyi olumsuz etkiler. Örneğin bir e-ticaret sitesinde kargo firmasıyla alakalı bilgilendirme sayfaları.
3. Site Yapısını İyileştirin
Web sitesindeki en küçük yapıdan en büyük yapıya kadar her ayrıntıyı iyileştirin. Kaliteli kodlama yapın. Çalışmayan ve gereksiz kodları iyileştirin ya da yok edin. Ziyaretçi hızını düşürecek yapılardan kurtulun. Örneğin bir e-ticaret sitesinde ürün görselinin ve renginin doğru eşleştiğinden emin olun.
4. 3XX Yönlendirmelerini Kontrol Edin
Web sitesindeki 3XX yönlendirmelerini tespit edin ve onları düzeltin. Örneğin bir web sitesi 302 durum kodları içeriyorsa bu kodları 301’e dönüştürün.
5. Yetim (Orphan) Düzeyindeki Sayfaları İyileştirin
Web sitesinde bulunan ama ulaşılmayan yetim sayfaları optimize edin. Bunun için Menü kısmından sırasıyla Footer ve Sidebar’a tıklayın. Örneğin bir e-ticaret sitesinde alt kategori sayfalarına linkleme bağlantısı sağlayın ve sayfaları ulaşılabilir hale getirin.
Tarama Bütçesi Neden İhmal Ediliyor?
Tarama bütçesi tek başına bir sıralama faktörü olmadığı için ihmal edilmektedir. Dolayısıyla çoğu kişi taramayı sorun olarak algılamaz. Önceden de değindiğimiz gibi tarama SEO için önemli bir kavramdır. SEO da tarama gibi büyük bir faktörü değiştirmek için kullanılmaz. Ancak unutulmamalıdır ki SEO, okunabilirlik ve organik trafik çekmek için büyük bir öneme sahiptir. Dolayısıyla Google’ın siteye verdiği değeri ve gösterdiği ilgiyi artırmak için SEO ve taramayı önemsemek gerekir. Sonuç olarak, web sitenizin sağlığı ve başarısı için tarama bütçesi optimizasyonunu ihmal etmeyin.
Crawl Budget ile İlgili Doğru Bilinen Yanlışlar
Crawl Budget ile ilgili birçok doğru bilinen yanlışlar vardır. Bu gerçekliklerden birkaçı şu şekildedir:
- Site haritaları sıkıştırılırsa tarama artar. Bu bilgi yanlıştır. Çünkü sıkıştırılmış site haritaları göndermek tarama süresini azaltmaz.
- Taramada yeni içeriğe kıyasla eski içeriğin daha fazla ağırlığı vardır. Bu bilgi yanlıştır. Çünkü önemli olan sayfanın faydalı olup olmadığıdır. Bu yüzden sayfanın yeni veya eski içeriği içermesi önemsizdir.
- Taramada temiz URL’ler önemli ama sorgu parametreleri önemsizdir. Bu bilgi yanlıştır. Çünkü tarama için parametreler taranabilir.
- Küçük siteler büyük siteler kadar sık taranmaz. Bu bilgi yanlıştır. Çünkü bir sitede sık sık değişen kaliteli içerikler bulunuyorsa boyutuna bakılmadan içerik sık sık taranmaktadır.
İlginizi Çekebilir: Facebook Business Suite Hakkında Bilmeniz Gerekenler
E-Ticaret 101 Akademi olarak bu yazımızda organik trafik için son derece önemli olan tarama bütçesini tüm detaylarıyla ele aldık. Siz de web sitenizin boyutu, sağlığı ve popülerliğini artırarak Google’ın sitenize ayırdığı tarama bütçesini artırabilirsiniz. Daha fazla bilgi için web sitemizi ziyaret ederek, bizimle iletişime geçebilirsiniz.
E-Ticaret ve Dijital Pazarlama hakkında daha fazla bilgi sahibi olmak istiyorsanız, E-Ticaret Bootcamp sayfamızı ziyaret edebilirsiniz.