Robots.txt Nedir?

Bir web sitesi sahibiyseniz, arama motorlarının sitenizi ziyaret etmesini ve içeriklerinizi dizine eklemesini istersiniz. Ancak, sitenizdeki her sayfanın Google tarafından görülmesini ister misiniz? Muhtemelen hayır. Yönetici panelleri, test sayfaları veya özel dosyaların arama sonuçlarında çıkması hem güvenlik riski oluşturur hem de SEO performansınızı düşürebilir. İşte tam bu noktada devreye Robots.txt dosyası girer. Bu rehberde, web sitenizin “dijital güvenlik görevlisi” olan robots.txt dosyasının ne olduğunu, nasıl oluşturulduğunu ve SEO için neden hayati önem taşıdığını inceleyeceğiz.

Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına (Googlebot, Bingbot vb.) sitenin hangi kısımlarını tarayabileceklerini veya tarayamayacaklarını söyleyen basit bir metin dosyasıdır. Basit bir benzetme yapmak gerekirse; web siteniz bir ev ise, robots.txt bu evin kapısındaki “Girilebilir” veya “Girilmez” levhalarıdır. Botlar sitenize geldiklerinde ilk olarak bu dosyayı okurlar ve izin verilen odaları (sayfaları) gezmeye başlarlar.

Birçok site sahibi bu dosyayı göz ardı eder, ancak doğru yapılandırılmış bir robots.txt dosyası SEO başarısı için kritiktir. İşte nedenleri:

1. Tarama Bütçesi (Crawl Budget) Optimizasyonu

Google, her web sitesini taramak için belirli bir kaynak (zaman ve bant genişliği) ayırır. Buna Tarama Bütçesi denir. Eğer botlar, sitenizdeki gereksiz sayfaları (admin paneli, filtreleme sayfaları, etiket arşivleri vb.) taramakla vakit kaybederse, asıl önemli olan blog yazılarınıza veya ürün sayfalarınıza sıra gelmeyebilir. Robots.txt ile gereksiz alanları engelleyerek, botların enerjisini değerli sayfalarınıza odaklamasını sağlarsınız.

2. Sunucu Yükünü Hafifletme

Botlar sitenizi çok sık taradığında sunucunuzda yavaşlamalar olabilir. Gereksiz bot trafiğini engellemek, sunucu performansını ve dolayısıyla site hızını korur.

3. Özel İçeriğin Gizlenmesi

Henüz tamamlanmamış sayfaların veya sadece site içi arama sonuçlarının Google’da listelenmesini önler. (Not: Kesin gizlilik için robots.txt yetmez, “noindex” etiketi de kullanılmalıdır.)

Robots.txt Dosyasında Kullanılan Komutlar

Bu dosya basit bir sözdizimine (syntax) sahiptir. İşte en sık kullanılan terimler:

• User-agent: Kuralın hangi bot için geçerli olduğunu belirtir. (Örn: User-agent: Googlebot sadece Google’a, User-agent: * tüm botlara hitap eder.)
• Disallow: Botların girmesini yasakladığınız dizin veya sayfadır.
• Allow: Yasaklı bir klasörün içindeki belirli bir dosyaya izin vermek için kullanılır.
• Sitemap: XML site haritanızın yolunu botlara göstermek için eklenir.

Örnek Robots.txt Dosyası

Aşağıda standart bir WordPress sitesi için örnek bir yapı görebilirsiniz:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.uludagweb.com/sitemap_index.xml

Bu kodun anlamı şudur: *”Tüm botlar (User-agent: ), wp-admin klasörüne girmesin (Disallow). Ancak wp-admin içindeki admin-ajax.php dosyasına erişebilsinler (Allow). Ayrıca site haritam da buradadır.”

Robots.txt Nasıl Oluşturulur?

Robots.txt dosyası oluşturmak için özel bir yazılıma ihtiyacınız yoktur. Bilgisayarınızdaki “Not Defteri”ni açıp gerekli kodları yazarak dosyayı robots.txt adıyla kaydetmeniz ve sitenizin ana dizinine (root directory/public_html) yüklemeniz yeterlidir.

Dosyanızın çalışıp çalışmadığını www.siteniz.com/robots.txt adresine giderek kontrol edebilirsiniz.

Dikkat: WordPress kullanıyorsanız, Rank Math veya Yoast SEO gibi eklentiler üzerinden FTP’ye girmeden de robots.txt dosyanızı düzenleyebilirsiniz.

Robots.txt çok güçlü bir dosyadır; yapılacak tek bir harf hatası tüm sitenizin Google’dan silinmesine neden olabilir.

1. Tüm Siteyi Engellemek

Geliştirme aşamasındaki sitelerde sıkça unutulan şu kod, sitenizin tamamen dizinden silinmesine yol açar:

User-agent: *
Disallow: /

Buradaki / işareti “kök dizinden itibaren her şey” demektir. Sitenizi yayına alırken bu kodu kaldırdığınızdan emin olun.

2. CSS ve JS Dosyalarını Engellemek

Eskiden botlar sadece metinleri okurdu, ancak modern Googlebot sitenizi bir insan gibi görüntüler. Eğer CSS ve JavaScript dosyalarınızı engellerseniz, Google sitenizin tasarımını (örneğin mobil uyumluluğunu) göremez ve sıralamanızı düşürür.

3. URL Yollarını Yanlış Yazmak

Robots.txt büyük-küçük harf duyarlıdır (Case Sensitive). /Admin/ klasörünü engellemek için /admin/ yazarsanız kural çalışmayabilir.

Robots.txt Dosyasını Nasıl Test Ederim?

Dosyayı oluşturduktan sonra hatasız çalıştığından emin olmalısınız. Bunun için en güvenilir araç Google Search Console‘dur.

1. Google Search Console hesabınızı açın.
2. Ayarlar veya Eski Araçlar menüsünden Robots.txt Test Aracı‘nı bulun.
3. Dosyanızı buraya yapıştırıp “Test Et” butonuna basın. Eğer engelleyen bir kural varsa Google size bunu kırmızı renkle gösterecektir.

Teknik SEO’nun Temel Taşı

Robots.txt, basit bir metin dosyası gibi görünse de sitenizin arama motorlarıyla nasıl iletişim kuracağını belirleyen temel protokoldür. Tarama bütçenizi verimli kullanmak ve teknik SEO sağlığınızı korumak için bu dosyanın doğru yapılandırılması şarttır.

Eğer robots.txt dosyanızın doğru çalışıp çalışmadığından emin değilseniz veya sitenizin indekslenme sorunları yaşadığını düşünüyorsanız, Uludağ Web’in uzman ekibinden Teknik SEO Analizi desteği alabilirsiniz. Gelin, botların sitenizi en verimli şekilde taramasını birlikte sağlayalım.