Robots.txt Nedir? SEO İçin Robots.txt Dosyası Nasıl Oluşturulur?

Meta Açıklaması: Robots.txt nedir, ne işe yarar ve nasıl oluşturulur? Google, Bing ve diğer arama motorları için doğru robots.txt dosyasını örneklerle öğrenin.

Robots.txt Nedir?

Robots.txt, arama motoru botlarına web sitenizin hangi sayfalarını tarayabileceklerini veya tarayamayacaklerini söyleyen metin tabanlı bir dosyadır.

Bu dosya sitenizin ana dizininde bulunur ve arama motorları sitenizi ziyaret ettiğinde ilk kontrol edilen dosyalardan biridir.

Örneğin;

https://siteadi.com/robots.txt

Googlebot, Bingbot ve diğer arama motorları bu dosyayı okuyarak sitenizde hangi klasörleri veya sayfaları tarayacaklarına karar verir.

Robots.txt Dosyası Ne İşe Yarar?

Doğru yapılandırılmış bir robots.txt dosyası sayesinde;

  • Gereksiz sayfaların taranmasını engelleyebilirsiniz.
  • Botların sunucuya yaptığı istek sayısını azaltabilirsiniz.
  • Tarama bütçesini (Crawl Budget) daha verimli kullanabilirsiniz.
  • Özel klasörleri arama motorlarından gizleyebilirsiniz.
  • XML site haritanızı arama motorlarına bildirebilirsiniz.

Robots.txt Dosyası Nerede Bulunur?

Dosya her zaman sitenizin kök dizininde yer almalıdır.

Örneğin;

https://orneksite.com/robots.txt

Yanlış örnek:

https://orneksite.com/seo/robots.txt

Bu kullanım geçerli değildir.

Basit Robots.txt Örneği

User-agent: *

Disallow:

Sitemap: https://siteadi.com/sitemap.xml

Bu örnekte;

  • Tüm botlara izin verilmiştir.
  • Sitemap adresi belirtilmiştir.

Belirli Klasörü Engelleme

Örneğin yönetim panelinin taranmasını istemiyorsanız;

User-agent: *

Disallow: /admin/

Bir Sayfayı Engelleme

User-agent: *

Disallow: /gizli-sayfa.html

Bir Dosya Türünü Engelleme

User-agent: *

Disallow: /*.pdf$

Tüm Siteyi Engelleme

Bakım aşamasındaki sitelerde geçici olarak kullanılabilir.

User-agent: *

Disallow: /

Dikkat!

Bu ayar açık unutulursa Google sitenizi tarayamaz.

Sadece Googlebot İçin Kural Yazma

User-agent: Googlebot

Disallow: /admin/

Diğer botlar bu kuraldan etkilenmez.

Bingbot İçin

User-agent: Bingbot

Disallow: /private/

WordPress İçin Örnek Robots.txt

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://siteadi.com/sitemap.xml

Bu yapı çoğu WordPress sitesi için uygundur.

Haber Siteleri İçin Robots.txt

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /backup/

Disallow: /admin/

Allow: /

Sitemap: https://siteadi.com/sitemap.xml

E-Ticaret Siteleri İçin

Filtre sayfalarının taranmasını istemiyorsanız;

User-agent: *

Disallow: /*?filter=

Disallow: /*?sort=

Disallow: /*?page=

Bu sayede yinelenen içeriklerin oluşma riski azaltılabilir.

Robots.txt ile Sitemap Gönderme

En önemli satırlardan biri;

Sitemap: https://siteadi.com/sitemap.xml

Birden fazla site haritası varsa;

Sitemap: https://siteadi.com/post-sitemap.xml

Sitemap: https://siteadi.com/page-sitemap.xml

Sitemap: https://siteadi.com/category-sitemap.xml

Robots.txt Dosyası Nasıl Oluşturulur?

Windows Not Defteri açın.

Yeni dosya oluşturun.

Adını;

robots.txt

olarak kaydedin.

FTP veya hosting paneli üzerinden sitenizin ana dizinine yükleyin.

Robots.txt Testi Nasıl Yapılır?

Dosyayı oluşturduktan sonra tarayıcıdan şu adresi ziyaret edin.

https://siteadi.com/robots.txt

Dosya açılıyorsa doğru yüklenmiştir.

Daha sonra Google Search Console üzerinden robots.txt dosyanızı ve XML site haritanızı kontrol ederek olası hataları tespit edebilirsiniz.

Robots.txt Hakkında Yanlış Bilinenler

Robots.txt sayfaları gizler.

Yanlış.

Robots.txt yalnızca botlara tarama önerisi sunar. Sayfa başka kaynaklardan bağlantı alıyorsa arama sonuçlarında yine görünebilir.

Robots.txt güvenlik sağlar.

Hayır.

Gizli dosyaları korumak için robots.txt kullanılmaz.

Bunun yerine;

  • Şifre koruması
  • Sunucu yetkilendirmesi
  • Güvenlik duvarı
  • IP kısıtlaması

kullanılmalıdır.

Robots.txt SEO sıralamasını yükseltir.

Tek başına hayır.

Ancak doğru yapılandırılmış bir robots.txt dosyası, tarama bütçesinin verimli kullanılmasına katkı sağlayarak teknik SEO çalışmalarını destekleyebilir.

SEO İçin Robots.txt Önerileri

  • XML site haritanızı mutlaka ekleyin.
  • Yönetim panelini engelleyin.
  • Yedek klasörlerini engelleyin.
  • Geçici dosyaları taratmayın.
  • Robots.txt dosyanızı düzenli kontrol edin.
  • Gereksiz engellemelerden kaçının.
  • Önemli sayfaları yanlışlıkla engellemediğinizden emin olun.

Sık Sorulan Sorular

Robots.txt zorunlu mudur?

Hayır. Ancak teknik SEO açısından oluşturulması tavsiye edilir.

Robots.txt olmadan Google sitemi tarar mı?

Evet. Robots.txt dosyası olmasa da arama motorları sitenizi tarayabilir.

Robots.txt ile bir sayfayı Google’dan tamamen kaldırabilir miyim?

Hayır. Bunun için noindex etiketi, uygun HTTP yanıtları veya arama motorlarının kaldırma araçları gibi yöntemler kullanılmalıdır.

Robots.txt dosyasında hata olursa ne olur?

Yanlış yazılmış kurallar önemli sayfaların taranmasını engelleyebilir ve organik görünürlüğü olumsuz etkileyebilir.

Sonuç

Robots.txt dosyası, teknik SEO’nun temel bileşenlerinden biridir. Doğru yapılandırıldığında arama motorlarının sitenizi daha verimli taramasına yardımcı olur, gereksiz sayfaların taranmasını önler ve site haritanızı botlara bildirerek indeksleme sürecini destekler. Özellikle büyük web siteleri, haber portalları ve e-ticaret projelerinde düzenli olarak gözden geçirilmesi gereken önemli bir yapılandırma dosyasıdır.