Bir sayfanın Google'da görünmesini istemiyorsanız ne yaparsınız? Pek çok kişinin cevabı hâlâ aynı: robots.txt dosyasına bir Disallow satırı eklemek. Oysa son haftalarda Google'ın yayımladığı yardım dokümanı güncellemeleri ve robots.txt kurallarını anlatan video, bu refleksin çoğu zaman yanlış sonuç verdiğini bir kez daha hatırlattı. Üstelik işin içine yapay zekâ tarayıcıları girdiğinden, "neyi kim tarasın, neyi kim indekslesin, neyi kim eğitimde kullansın" soruları eskisinden çok daha karmaşık.
Bu yazıda robots.txt, noindex ve erişim kısıtlamalarının farklı işler yaptığını, yapay zekâ botlarını nasıl yöneteceğinizi ve paylaşım bağlantılarıyla gizli kalması gereken içeriklerde nelere dikkat etmeniz gerektiğini adım adım ele alıyoruz.
Tarama, indeksleme ve erişim: Üç ayrı kavram
İndeks kontrolündeki hataların büyük kısmı, üç kavramın birbirine karıştırılmasından doğar. Bunları ayırmadan doğru strateji kurmak mümkün değil.
- Tarama (crawling): Botun sayfayı ziyaret edip içeriği okumasıdır. robots.txt yalnızca bu aşamayı yönetir.
- İndeksleme (indexing): Sayfanın arama sonuçlarında yer alabilmesi için veri tabanına eklenmesidir. Bunu
noindexmeta etiketi veyaX-Robots-Tagbaşlığı kontrol eder. - Erişim (access): Sayfayı kimin görebildiğidir. Parola, oturum açma veya IP kısıtlaması gibi yöntemler gerçek koruma sağlar.
Burada kritik bir nokta var: robots.txt ile engellediğiniz bir URL'ye başka sitelerden bağlantı verilmişse, Google sayfanın içeriğini okuyamasa bile URL'yi içeriksiz bir sonuç olarak indeksleyebilir. Yani robots.txt bir "görünmezlik pelerini" değildir; yalnızca botlara "buraya girme" diyen nazik bir rica notudur.
En sık yapılan beş robots.txt hatası
SEO denetimlerinde karşımıza çıkan sorunların çoğu şaşırtıcı derecede basit. Aşağıdaki listeyi kendi sitenizle karşılaştırın.
- İndekslenmesini istemediğiniz sayfayı Disallow ile engellemek. Bot sayfaya giremediği için içindeki
noindexetiketini göremez; sayfa indekste kalmaya devam edebilir. - CSS ve JavaScript dosyalarını engellemek. Google sayfayı doğru render edemez, mobil uyumluluk ve içerik değerlendirmesi zarar görür.
- Test ortamından canlıya taşınan kısıtlayıcı dosya. Staging sitesindeki
Disallow: /satırı canlıya taşındığında tüm sitenin taranması durur. - Sitemap adresini belirtmemek.
Sitemap:satırı zorunlu olmasa da botların haritanıza ulaşmasını kolaylaştırır. - Gizli bilgiyi robots.txt'e yazmak. Dosya herkese açıktır; "/gizli-panel/" gibi bir satır, o dizinin varlığını ilan etmekten başka işe yaramaz.
Her birinin ortak paydası aynı: robots.txt'i bir güvenlik veya indeks silme aracı olarak görmek. Oysa asıl işlevi tarama bütçesini verimli kullanmak ve gereksiz URL kalabalığını botlardan uzak tutmaktır.
Doğru aracı doğru işe atayın
Hangi durumda hangi yöntemi seçeceğinizi şu şekilde özetleyebiliriz. Amaç "sayfa aramada çıkmasın" ise noindex kullanın ve sayfanın taranabilir kalmasına izin verin; bot etiketi okuyabilmeli. PDF, görsel gibi HTML olmayan dosyalarda aynı işi X-Robots-Tag: noindex HTTP başlığı görür. Amaç "bu içerik kimseye açık olmasın" ise tek güvenilir çözüm kimlik doğrulamadır.
robots.txt ise filtre kombinasyonları, iç arama sonuçları, sepet ve ödeme adımları gibi arama değeri olmayan, ancak binlerce URL üretebilen alanlarda tarama bütçesini korumak için idealdir. E-ticaret sitelerinde bu ayrım, aylık taranan sayfa sayısında gözle görülür fark yaratır. Teknik altyapınızı bu açıdan gözden geçirmek istiyorsanız SEO hizmetlerimiz kapsamındaki teknik denetim tam olarak bu tür sorunları hedefler.
Yapay zekâ tarayıcıları: Ayrı kural, ayrı sonuç
Son dönemde en çok karıştırılan konu, yapay zekâ botlarının nasıl yönetileceği. Her bot farklı bir amaçla çalışır ve her birinin kendi kullanıcı aracısı (user-agent) adı vardır. Google'ın yapay zekâ ürünleri için kullandığı Google-Extended belirteci, Gemini gibi üretken yapay zekâ ürünlerinde içeriğinizin kullanımını kontrol etmenizi sağlar; ancak Google Arama'daki sıralamanızı ve standart indekslemeyi etkilemez. OpenAI ise eğitim amaçlı GPTBot, arama amaçlı OAI-SearchBot ve kullanıcı isteğiyle tetiklenen ChatGPT-User gibi ayrı botlar tanımlar.
Burada stratejik bir karar gerekiyor. Eğitim botlarını engellemek, içeriğinizin model eğitiminde kullanılmasını sınırlamanıza yardımcı olabilir. Ancak yapay zekâ arama botlarını da engellerseniz, ChatGPT veya benzeri araçların yanıtlarında markanızın görünme şansını kendi elinizle azaltırsınız. Bu nedenle "hepsini kapat" ya da "hepsini aç" yerine, botları amaçlarına göre ayırmak daha mantıklıdır.
Örnek bir yaklaşım şöyle olabilir:
- Marka bilinirliği ve atıf istiyorsanız arama amaçlı botlara izin verin.
- Özgün araştırma veya ücretli içeriğinizin eğitim verisine dönüşmesini istemiyorsanız eğitim botlarını kısıtlayın.
- Üyelik veya abonelik duvarı arkasındaki içerik için robots.txt'e değil, erişim kontrolüne güvenin.
- Sunucu loglarınızdan hangi botların gerçekten ziyaret ettiğini düzenli olarak izleyin.
Dikkat edilmesi gereken bir başka nokta: robots.txt gönüllü uyuma dayanır. İyi niyetli büyük sağlayıcılar kurallara uyar, ancak tüm botlar uymaz. Gerçekten korunması gereken içerik için sunucu seviyesinde kısıtlama veya bot yönetimi çözümleri gerekir.
Paylaşım bağlantılarıyla açılan içerikler
Bir diğer sık gözden kaçan alan, bağlantıyla paylaşılan içeriklerdir: müşteriye gönderilen teklif sayfaları, bulut depolamadaki rapor bağlantıları, "bağlantıya sahip olan herkes görebilir" ayarlı dokümanlar veya özel kampanya önizleme sayfaları. Bu tür sayfalar tek bir yerde bile herkese açık bir sayfadan bağlantı aldığında, botların önüne düşebilir.
Pratik kural basit: Arama sonuçlarında çıkmasını istemediğiniz, ama bağlantıyla paylaştığınız her sayfaya noindex ekleyin ve sayfanın taranabilir kalmasına izin verin. Hassas veri içeriyorsa bağlantıyı zaten parola veya oturumla koruyun. "Bağlantıyı bilen görür" ayarı güvenlik değil, kolaylıktır.
Search Console ile doğrulama: Neyi, nasıl izlemelisiniz?
Kuralları yazmak işin yarısı; asıl fark, etkisini ölçtüğünüzde ortaya çıkar. Google Search Console'daki Sayfa dizine ekleme raporu, hangi URL'lerin neden indekslenmediğini açıkça gösterir. Burada üç durum özellikle önemlidir: "Robots.txt tarafından engellendi", "Dizine eklenmedi: noindex etiketi" ve "Dizine eklendi ancak robots.txt tarafından engellendi". Üçüncüsü, yukarıda anlattığımız klasik çelişkinin işaretidir; hem engellemişsiniz hem de sayfa indekste duruyor demektir.
Tarama istatistikleri raporu da ihmal edilmemeli. Günlük taranan sayfa sayısında ani düşüş, yanlış bir robots.txt güncellemesinin ilk belirtisi olabilir. Tersine, taranan sayfa sayısının gereksiz biçimde patlaması, filtre veya parametre URL'lerinin kontrolsüz çoğaldığını gösterir. İkisini de haftalık olarak karşılaştırmak, sorunları organik trafik düşmeden yakalamanızı sağlar.
Sunucu loglarından gerçek bot davranışı
Search Console yalnızca Google'ı gösterir. Yapay zekâ botları dâhil tüm ziyaretçileri görmek için sunucu loglarına bakmanız gerekir. Loglarda user-agent bazında istek sayısını, en çok taranan dizinleri ve 4xx/5xx hata oranlarını çıkarın. Birkaç hafta sonra hangi botların sitenize gerçekten ilgi gösterdiğini, hangilerinin kurallarınıza uyduğunu net biçimde görürsünüz. Bu veri, yapay zekâ botları için yazacağınız politikanın en sağlam dayanağıdır.
Sık sorulan sorular
robots.txt'i değiştirdim, etkisi ne zaman görünür? Google robots.txt dosyasını genellikle önbelleğe alır ve günde bir civarında yeniler. Acil bir düzeltme yaptıysanız Search Console'daki robots.txt aracından yeniden tarama isteyebilirsiniz; yine de yansıması saatler sürebilir.
Sayfayı hem noindex yapıp hem Disallow ile engellemeli miyim? Hayır. Bot sayfaya giremezse noindex'i okuyamaz. Önce noindex'in işlemesini bekleyin, sayfa indeksten düştükten sonra isterseniz taramayı kapatın.
Yapay zekâ botlarını engellemek SEO sıralamamı düşürür mü? Eğitim amaçlı belirteçleri kısıtlamak standart Google Arama sıralamanızı doğrudan etkilemez. Ancak arama amaçlı yapay zekâ botlarını kapatmak, o platformlardaki görünürlüğünüzü azaltabilir; bu yüzden karar iş hedeflerinize göre verilmeli.
Küçük bir sitenin robots.txt'e ihtiyacı var mı? Zorunlu değil, ancak sitemap adresini belirtmek ve yönetim paneli gibi alanları tarama dışında tutmak için kısa bir dosya yine de faydalıdır. Sade tutun; her fazladan satır olası bir hata kaynağıdır.
Adım adım kontrol listesi
Sitenizde bugün uygulayabileceğiniz bir denetim akışı önerelim:
- 1. robots.txt'i okuyun:
alanadiniz.com/robots.txtadresini açın, gereksiz veya eski satırları temizleyin. - 2. Search Console'da kapsam raporuna bakın: "Robots.txt tarafından engellendi" ve "Dizine eklendi ancak engellendi" durumlarını inceleyin.
- 3. Gizli kalması gereken sayfaları ayırın: Her biri için noindex mi, erişim kısıtı mı gerektiğine karar verin.
- 4. Yapay zekâ botları için politika yazın: Hangi botlara izin vereceğinizi iş hedeflerinize göre belirleyin.
- 5. Logları izleyin: Gerçek bot trafiğini görmeden politikanın işe yarayıp yaramadığını anlayamazsınız.
- 6. Değişiklikleri test edin: Her robots.txt güncellemesinden sonra kritik URL'leri Search Console'daki URL denetimiyle doğrulayın.
İçerik stratejisiyle bağlantısı
İndeks kontrolü yalnızca teknik bir mesele değil. Hangi içeriklerinizin aramada ve yapay zekâ yanıtlarında görünmesini istediğiniz, aslında içerik stratejinizin bir parçasıdır. Rehber niteliğindeki, özgün veri içeren ve markanızı güçlendiren sayfalar herkese açık olmalı; zayıf, tekrar eden veya geçici sayfalar ise indeksten uzak tutulmalı. Bu dengeyi kurmak için içerik stratejisi çalışmalarımıza göz atabilirsiniz.
Kurumsal sitelerde sık görülen senaryolar
Pratikte karşılaşılan birkaç örnek, kuralların neden dikkatle kurgulanması gerektiğini gösteriyor. Çok dilli bir sitede dil klasörlerinden biri yanlışlıkla Disallow edildiğinde, o dildeki tüm sayfalar kısa sürede tarama dışı kalabilir. Yeni bir tasarım yayına alınırken geliştirme ekibinin eklediği noindex etiketi canlıda unutulduğunda, haftalar içinde organik trafikte sert düşüş yaşanır. Blog etiket ve arşiv sayfaları ise tam tersine, kontrol edilmediğinde binlerce zayıf sayfa üreterek tarama bütçesini tüketir.
Bu senaryoların hiçbiri karmaşık teknik bilgi gerektirmez; gerekli olan, her yayın ve güncelleme öncesi kısa bir kontrol alışkanlığıdır. Yayın listenize "robots.txt ve noindex kontrolü" maddesini ekleyin, değişiklikleri sürüm kontrolünde tutun ve kritik sayfalar için düzenli otomatik testler çalıştırın. Küçük bir disiplin, büyük trafik kayıplarının önüne geçer.
Sonuç: Kural değil, politika yazın
robots.txt tek satırlık bir ayar gibi görünür, ama aslında sitenizin botlarla ilişkisini belirleyen bir politika belgesidir. Tarama, indeksleme ve erişimi ayrı ayrı düşündüğünüzde hem arama performansınızı hem de içeriğinizin yapay zekâ ekosistemindeki yerini daha bilinçli yönetirsiniz.
Önümüzdeki dönemde yapay zekâ arama ürünlerinin payı arttıkça bot yönetimi de SEO'nun standart bir parçası hâline gelecek. Bugün atacağınız küçük bir denetim adımı, ileride görünürlük kaybı veya istenmeyen içerik sızıntısı yaşamanızı engelleyebilir. Bot trafiğini izleme ve raporlamayı otomatikleştirmek istiyorsanız yapay zekâ ve otomasyon çözümlerimiz bu süreçte işinizi kolaylaştırabilir.
