Teknik SEO rehberi
robots.txt Nedir? SEO'da Hangi Hatalardan Kaçınmalısınız?
robots.txt küçük bir metin dosyasıdır ama yanlış yapılandırıldığında arama motorlarının önemli sayfalara erişimini ciddi biçimde etkileyebilir. Özellikle test ortamından canlıya geçişte kalan genel engellemeler kritik sonuçlar doğurabilir.
robots.txt nasıl çalışır?
Dosya alan adının kökünde `/robots.txt` adresinde yayınlanır. User-agent grupları ve Allow/Disallow yönergeleriyle uyumlu crawler'lara hangi yolların taranmasına izin verildiğini bildirir. Bu bir erişim güvenlik duvarı değildir; URL'ler herkese açık olmaya devam eder.
En kritik hata: Disallow: /
`User-agent: *` altında `Disallow: /` bütün siteyi genel tarayıcılara kapatır. Staging veya bakım sırasında bilinçli kullanılan bu kural canlı yayına taşınırsa organik görünürlük riske girebilir.
- Deploy sonrası robots.txt'yi canlı URL'den kontrol edin.
- Alan adı ve alt alan adı farklarını unutmayın.
- CDN veya framework tarafından üretilen robots yanıtını ayrıca doğrulayın.
robots.txt ile noindex arasındaki fark
robots.txt taramayı yönetir. Bir URL'nin indekslenmemesini kesin olarak sağlamak için uygun noindex yöntemleri gerekir. Üstelik crawler sayfayı tarayamazsa sayfa üzerindeki noindex etiketini de göremeyebilir. Bu iki mekanizmayı aynı amaç için rastgele üst üste kullanmayın.
Sitemap bildirimi
robots.txt içinde `Sitemap:` satırıyla XML sitemap adresi belirtilebilir. Bu, crawler'ın sitemap konumunu keşfetmesini kolaylaştırır. Birden fazla sitemap veya sitemap index adresi de bildirilebilir.
Hangi URL'leri robots ile engellememelisiniz?
CSS ve JavaScript gibi sayfanın doğru render edilmesi için gerekli kaynakları gereksiz yere engellemek arama sistemlerinin sayfayı anlamasını zorlaştırabilir. Ayrıca robots.txt gizli yönetim URL'lerini saklamak için kullanılmamalıdır; dosya herkese açıktır.
Sık sorulan sorular
robots.txt yoksa SEO bozulur mu?
Hayır. Dosya zorunlu değildir. Sunucu doğru biçimde yok yanıtı veriyorsa crawler genel olarak özel bir robots kısıtlaması olmadan çalışabilir.
robots.txt ile PDF veya görsel engellenebilir mi?
Crawler davranışı dosya türü ve bot kurallarına göre yönetilebilir; ancak indeksleme ile tarama kavramlarını ayrı değerlendirmek gerekir.
robots.txt dosyası ne sıklıkta kontrol edilmeli?
Her önemli deploy, alan adı değişimi veya altyapı geçişinden sonra kontrol etmek iyi bir release pratiğidir.