Robots.txt Dosyası Nasıl Oluşturulur? Neler Olmalı?

Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru crawler’larına tarama talimatı veren bir metin dosyasıdır. Örneğin `https://example.com/robots.txt` adresinde yer alır.

Bu dosya, hangi crawler’ın hangi URL yollarına erişebileceğini veya erişemeyeceğini belirtir. Ancak kritik nokta şudur: robots.txt bir indeks gizleme mekanizması değildir.

Basit Robots.txt Örneği

Basit bir robots.txt dosyası tüm crawler’lara izin verebilir ve site haritasının yerini gösterebilir. Daha karmaşık sitelerde filtre, arama sonucu, sepet, kullanıcı paneli veya düşük değerli parametre yolları kontrollü şekilde yönetilebilir.

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

Robots.txt İçinde Hangi Komutlar Kullanılır?

En sık kullanılan komutlar User-agent, Disallow, Allow ve Sitemap satırlarıdır. Komutların sırası, kapsamı ve hangi crawler’a uygulandığı dikkatli yazılmalıdır.

Robots.txt Dosyasında Neler Olmalı?

Robots.txt dosyasında gereksiz karmaşa olmamalıdır. Sadece gerçekten taranmasını istemediğiniz düşük değerli, tekrar üreten veya crawler bütçesini bozan alanlar yönetilmelidir.

Önemli organik sayfalar yanlışlıkla engellenmemelidir. Özellikle CSS, JS veya render için gerekli dosyaları kapatmak sayfanın Google tarafından doğru işlenmesini zorlaştırabilir.

• Site haritası konumu eklenebilir.
• Arama sonucu, filtre veya parametre alanları kontrollü yönetilebilir.
• Özel veya gizli sayfalar için robots.txt’e güvenilmemelidir.
• Önemli kategori, ürün, hizmet ve blog sayfaları engellenmemelidir.
• CSS ve JS dosyaları sayfa render’ı için gerekiyorsa kapatılmamalıdır.

Robots.txt Hataları Nelerdir?

Robots.txt hataları bazen büyük organik kayıplara neden olabilir. Özellikle canlıya çıkışta test ortamından kalan `Disallow: /` gibi kurallar, tüm sitenin taranmasını engelleyebilir.

Bir diğer yaygın hata, noindex yapılması gereken sayfayı robots.txt ile engellemektir. Google sayfayı tarayamazsa noindex etiketini de göremeyebilir.

1. 01
   Tüm Siteyi Engelleme

   Disallow: / kuralı canlı sitede kalmış mı kontrol et.

2. 02
   Noindex ile Çakışma

   Noindex görülmesi gereken sayfayı robots ile kapatma.

3. 03
   Yanlış Wildcard

   Parametre veya yol kurallarının kritik sayfaları etkilemediğini test et.

4. 04
   Güncel Sitemap

   Site haritası URL’sinin doğru ve erişilebilir olduğundan emin ol.

Robots.txt Nasıl Test Edilir?

Robots.txt değişiklikleri canlıya alınmadan önce mutlaka test edilmelidir. Search Console URL Denetimi, robots test araçları ve crawl simülasyonları birlikte kullanılabilir.

Değişiklik sonrası önemli URL’lerin taranabilir kalıp kalmadığı, site haritası ve indeks kapsamı raporlarıyla takip edilmelidir.

Robots.txt Gerçek Projede Nasıl Okunur?

Robots.txt, teorik bir tanımdan çok daha fazlasıdır. Gerçek projede bu konu crawler erişimini yöneten teknik bir sinyaldir; dizinden kaldırma veya gizleme aracı değildir. Bu yüzden sayfayı değerlendirirken yalnızca anahtar kelimeye, tek bir metrik değerine veya araç ekranına bakmak yeterli değildir.

Bir URL robots.txt ile engellendiğinde Google sayfayı tarayamayabilir; fakat URL başka kaynaklardan keşfediliyorsa sonuçlarda sınırlı bilgiyle görünebilir. Bu nedenle noindex ve robots.txt aynı amaçla kullanılmaz. Burada önemli olan, kullanıcı beklentisi ile sayfanın verdiği cevabın aynı yerde buluşmasıdır. Kullanıcı bilgi istiyorsa rehber, seçenek karşılaştırıyorsa tablo, satın almaya yaklaşıyorsa kategori veya ürün sayfası öne çıkmalıdır.

Bu yaklaşım aynı zamanda kalite tarafında da daha güvenlidir. Google Robots.txt Dokümantasyonu gibi resmi kaynaklar, arama sistemlerinin sayfaları yalnızca teknik erişilebilirlikle değil; fayda, güven ve kullanıcı amacıyla birlikte değerlendirdiğini hatırlatır.

Uygulama Öncesi Hangi Sorular Sorulur?

Bir SEO Kararı uygulanmadan önce üç kontrol yapılmalıdır. İlk kontrol sayfanın hedeflediği niyettir; ikinci kontrol Google'ın sayfayı nasıl gördüğüdür; üçüncü kontrol ise bu aksiyonun işletme hedefiyle bağlantısıdır.

Başarı Nasıl Takip Edilir?

Başarıyı yalnızca sıralama değişimiyle okumak eksik kalır. Görünürlük artabilir ama tıklama düşebilir; tıklama artabilir ama talep oluşmayabilir; talep artabilir ama yanlış sayfa üzerinden geliyorsa sürdürülebilir büyüme üretmeyebilir.

Bu yüzden ölçümde gösterim, tıklama, CTR, ortalama konum, dönüşüm, form kalitesi, arama niyeti ve Sayfa Tipi birlikte takip edilmelidir. Bu metrikler ayrı ayrı değil, aynı karar tablosunda okunduğunda SEO raporu gerçekten yönetilebilir hale gelir.

Robots.txt için Otorite Nasıl Kurulur?

Güven veren içerik, yalnızca doğru bilgiyi yazdığı için güçlü olmaz; okuyucuya hangi bilginin neden önemli olduğunu da gösterir. Bu nedenle Robots.txt çalışmasında tanım, örnek, karşılaştırma, hata analizi ve ölçüm aynı akış içinde yer almalıdır. Kullanıcı sayfadan ayrıldığında yalnızca konuyu öğrenmiş değil, kendi sitesinde hangi soruyu soracağını da anlamış olmalıdır.

Bu noktada deneyim farkı ortaya çıkar. Her projede aynı kontrol listesi kullanılmaz; e-ticaret sitesinde kategori ve ürün sayfası daha kritik olabilirken, B2B hizmet sitesinde otorite, güven sinyali ve doğru form akışı daha belirleyici olabilir. İçeriğin kapsamı da bu yüzden sektör, Sayfa Tipi ve kullanıcı yolculuğuna göre genişletilmelidir.

Google Arama Kalite Yönergeleri, kalite değerlendirmelerinde deneyim, uzmanlık ve güven sinyalinin önemini vurgulayan iyi bir referans noktasıdır. Fakat bunu sayfaya birkaç kaynak eklemek olarak düşünmemek gerekir. Gerçek güven; örnekle, açık gerekçeyle, tutarlı terim kullanımıyla, şeffaf yönlendirmeyle ve abartısız iddialarla kurulur.

Yayın Öncesi Hangi Kontroller Yapılır?

• Sayfa, hedeflediği ana niyeti ilk ekranda net biçimde anlatıyor mu?
• Aynı konudaki diğer sayfalardan farklı ve gerçek bir katkı sunuyor mu?
• İç linkler kullanıcıyı bir sonraki mantıklı adıma taşıyor mu?
• Başlık, açıklama ve içerik aynı vaadi mi veriyor?
• Güncellik, kaynak ve örnek kullanımı iddiaları destekliyor mu?
• Başarı metriği yalnızca görünürlük değil, iş etkisiyle de takip ediliyor mu?

Bu Konuyla Bağlantılı Okumalar

Bu yazı tek başına bırakılmamalı. Konunun uygulama tarafını görmek için ilgili vaka analizleri, kararın danışmanlık tarafını görmek için hizmet sayfası aynı akış içinde okunabilir.

Yararlanılan Referanslar

Bu yazının ana çerçevesi saha deneyimiyle kurulmuştur; teknik tanım ve sınırları netleştirmek için aşağıdaki resmi veya birincil kaynaklar dikkate alınmıştır.