Arama motoru optimizasyonunun (SEO) temel taşlarından biri, arama motoru tarayıcılarına (crawler) web sitenizi nasıl gezmeleri gerektiğini söyleyen küçük ama güçlü bir metin dosyasıdır: Robots.txt. Bu dosya, sitenizin hangi bölümlerinin taranabileceğini ve hangilerinin taranmaması gerektiğini belirleyerek hem tarama bütçenizi (crawl budget) verimli kullanmanızı sağlar hem de gizli kalması gereken hassas dizinlerin arama sonuçlarında görünmesini engeller. Özellikle dünyanın en popüler içerik yönetim sistemi olan WordPress kullanıyorsanız, bu dosyanın doğru bir şekilde yapılandırılması kritik öneme sahiptir. Peki, WordPress’te Robots.txt Dosyası Nasıl Oluşturulur? Bu kapsamlı kılavuzda, hem yeni başlayanlar hem de deneyimli SEO uzmanları için en kolay eklenti yöntemlerinden, manuel FTP çözümüne kadar tüm adımları derinlemesine inceleyeceğiz.
Birçok WordPress kullanıcısı, sitelerinin otomatik olarak bir robots.txt dosyasına sahip olduğunu bilmez. Ancak bu varsayılan dosya genellikle çok kısıtlıdır ve çoğu zaman SEO hedeflerinize ulaşmak için özelleştirilmesi gerekir. Etkili bir robots.txt stratejisi, arama motorlarının enerjisini sitenizdeki en önemli sayfalara odaklamasını sağlayarak, dizine eklenme oranınızı ve genel sıralamanızı doğrudan etkiler. Bu makale, WordPress altyapısında çalışan web siteniz için bu hayati dosyayı oluşturma, düzenleme ve optimize etme sürecini adım adım ele alacaktır.
Robots.txt Nedir ve SEO İçin Neden Hayati Önem Taşır?
Robots.txt, bir web sitesinin kök dizininde (root directory) bulunan, adı tam olarak ‘robots.txt’ olan basit bir metin dosyasıdır. Bu dosya, Googlebot, Bingbot gibi arama motoru tarayıcılarına hitap eden ve onlara sitenizdeki hangi dosyaları, dizinleri veya sayfaları ziyaret edip tarayabileceklerini (Allow) veya tarayamayacaklarını (Disallow) bildiren bir protokoldür. Teknik olarak bu bir zorunluluk değil, bir ‘isteğe bağlı’ talimattır; ancak büyük arama motorları bu talimatlara saygı duyar.
SEO açısından hayati olmasının temel nedeni, tarama bütçesi (crawl budget) yönetimidir. Her web sitesinin, özellikle büyük sitelerin, arama motorlarının bir gün içinde ayırabileceği sınırlı bir tarama bütçesi vardır. Eğer robots.txt dosyanız, önemsiz veya yinelenen içeriğe sahip sayfaların taranmasını engellemezse, botlar bütçelerini bu değersiz sayfalara harcayacaktır. Bu durum, yeni veya güncellenmiş değerli sayfalarınızın dizine eklenmesinin gecikmesine veya hiç eklenmemesine yol açabilir. Bu nedenle, Robots.txt, botların enerjisini en yüksek dönüşüm oranına sahip içeriğe yönlendirme görevini üstlenir.
Ayrıca robots.txt, kullanıcıların görmesi gerekmeyen yönetim paneli sayfaları (örneğin, /wp-admin/ dizini, tema dosyaları, eklenti dosyaları, arama sonuç sayfaları veya teşekkür sayfaları gibi) gibi hassas veya işlevsel dizinlerin arama sonuçlarında görünmesini engellemek için de kullanılır. Doğru yapılandırılmış bir robots.txt dosyası, yalnızca SEO performansını artırmakla kalmaz, aynı zamanda sitenizin güvenliğini ve gizliliğini de dolaylı yoldan destekler. Bu nedenle, WordPress’te Robots.txt Dosyası Nasıl Oluşturulur sorusunun cevabı, sitenizin uzun vadeli başarısı için kritik bir adımdır.
WordPress Robots.txt Dosyasının Temel Yapısını Anlamak
Robots.txt dosyaları çok basit bir syntax (sözdizimi) kullanır. Bu sözdizimi, tarayıcılara kim olduklarını ve ne yapmaları gerektiğini açıkça belirtmek zorundadır. Bir robots.txt dosyası genellikle aşağıdaki temel direktifleri içerir:
- User-agent: Bu, kuralın hangi arama motoru tarayıcısına uygulandığını belirtir. Örneğin, Google için ‘Googlebot’, Bing için ‘Bingbot’ veya tüm tarayıcılar için ‘*’ (yıldız işareti) kullanılır.
- Disallow: Bu, User-agent’ın sitenin hangi bölümünü ziyaret etmemesi gerektiğini belirtir. Örneğin,
Disallow: /wp-admin/. - Allow: Bu, Disallow kuralı ile engellenen bir dizin içinde bile olsa, belirli bir alt klasörün veya dosyanın taranmasına izin verir. Örneğin,
Disallow: /wp-content/kuralından sonra,Allow: /wp-content/uploads/diyerek medya dosyalarının taranmasına izin verebilirsiniz. - Sitemap: Bu direktif, arama motorlarına XML site haritanızın nerede bulunduğunu söyler. Bu, botların sitenizdeki tüm önemli sayfaları hızlıca bulması için kritik bir direktiftir.
Basit bir WordPress robots.txt dosyasının yapısı genellikle şuna benzer:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Sitemap: https://www.siteadi.com/sitemap_index.xml
Burada dikkat edilmesi gereken nokta, her bir direktifin ayrı bir satırda olması gerektiğidir. Ayrıca, direktifler büyük/küçük harf duyarlıdır. Örneğin, Disallow: /Sayfa/ ile Disallow: /sayfa/ farklı kabul edilir. WordPress’te çoğu dizin küçük harfle yazıldığı için, kural tanımlamalarınızda da buna dikkat etmelisiniz. Bu temel yapıyı anlamak, WordPress’te Robots.txt Dosyası Nasıl Oluşturulur sorusunun teknik altyapısını kavramak anlamına gelir.
WordPress Varsayılan (Sanal) Robots.txt Durumu
WordPress, standart bir kurulumda bile, sitenizin kök dizininde fiziksel bir robots.txt dosyası olmasa bile, arama motorlarına otomatik olarak bir ‘sanal’ (virtual) robots.txt dosyası sunar. Bu sanal dosya, WordPress çekirdek kodu tarafından dinamik olarak oluşturulur ve genellikle sitenizin ana URL’sine ‘/robots.txt’ eklenerek erişilebilir (örneğin: https://siteadi.com/robots.txt).
Varsayılan WordPress robots.txt dosyası oldukça basittir ve genellikle şunları içerir:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Bu varsayılan yapı, sitenizin yönetim panelini arama motorlarından gizlemek için yeterlidir ancak genellikle sitenizin site haritasını içermez ve botların taramasına gerek olmayan etiket arşivleri, besleme (feed) sayfaları veya gereksiz eklenti dosyaları gibi diğer alanları engellemez. İşte bu noktada, sitenizin SEO performansını maksimize etmek için fiziksel veya eklenti tabanlı bir robots.txt dosyasının oluşturulması ve düzenlenmesi devreye girer.
Önemli bir not: Eğer web sitenizin ayarlarında (Ayarlar > Okuma) “Arama motorlarının bu siteyi dizine eklemesini engellemeye çalış” seçeneği işaretliyse, WordPress varsayılan olarak tüm tarayıcılara Disallow talimatı gönderir: Disallow: /. Bu ayar, siteniz geliştirme aşamasındayken kullanışlıdır, ancak canlıya geçtiğinde derhal kaldırılmalıdır, aksi takdirde siteniz arama sonuçlarında asla görünmez.
WordPress’te Robots.txt Dosyası Nasıl Oluşturulur ve Düzenlenir? (En Kolay Yöntemler)
WordPress kullanıcıları için robots.txt dosyasını yönetmenin en yaygın ve en güvenli yolu, popüler SEO eklentilerini kullanmaktır. Bu eklentiler, dosyayı manuel olarak yükleme veya kodlama riskini ortadan kaldırır ve kullanıcı dostu bir arayüz sunar. İki ana eklenti, bu işlevi mükemmel bir şekilde yerine getirir: Yoast SEO ve Rank Math.
Yoast SEO ile Robots.txt Oluşturma ve Düzenleme
Yoast SEO, WordPress için en yaygın kullanılan SEO eklentilerinden biridir ve robots.txt yönetimini çok basit hale getirir. Yoast, fiziksel bir robots.txt dosyası bulunmadığında otomatik olarak sanal dosyayı düzenlemenize olanak tanır. Eğer kök dizinde zaten bir dosya varsa, Yoast onu düzenlemek için bir uyarı verir.
Adımlar:
- WordPress Yönetici Panelinize giriş yapın.
- Sol menüden Yoast SEO > Araçlar (Tools) bölümüne gidin.
- Burada Dosya Düzenleyici (File Editor) seçeneğini bulun ve tıklayın.
- Bu sayfada, Yoast size iki önemli dosyanın düzenleme yetkisini sunar: .htaccess ve robots.txt.
- Eğer robots.txt dosyası mevcut değilse, Yoast size “robots.txt dosyası oluştur” seçeneğini sunacaktır. Eğer mevcutsa, doğrudan düzenleme alanını göreceksiniz.
- İhtiyacınız olan Disallow ve Sitemap direktiflerini girin.
- Değişikliklerinizi kaydetmek için Robots.txt Dosyasını Kaydet butonuna tıklayın.
Yoast, yaptığınız değişiklikleri sitenizin kök dizininde otomatik olarak kaydeder ve bu, arama motorlarının tarayacağı fiziksel bir robots.txt dosyası haline gelir. Bu basit arayüz, WordPress’te Robots.txt Dosyası Nasıl Oluşturulur sorusunun en pratik cevabıdır.
Rank Math ile Robots.txt Yönetimi
Rank Math, son yıllarda popülerliği hızla artan bir diğer güçlü SEO eklentisidir ve robots.txt yönetimini benzer şekilde basitleştirir. Rank Math’in Dosya Düzenleyicisi, genellikle daha erişilebilir bir yerde konumlandırılmıştır.
Adımlar:
- WordPress Yönetici Panelinize giriş yapın.
- Sol menüden Rank Math > Genel Ayarlar (General Settings) bölümüne gidin.
- Kenar çubuğunda Edit Robots.txt seçeneğini bulun ve tıklayın.
- Açılan metin alanına özel robots.txt kurallarınızı (User-agent, Disallow, Sitemap) yazın.
- Özellikle site haritası direktifinizin doğru olduğundan emin olun. Rank Math genellikle site haritası URL’sini otomatik olarak bu alana ekler.
- Değişiklikleri uygulamak için Değişiklikleri Kaydet butonuna tıklayın.
Bu eklentiler, teknik bilgiye sahip olmayan kullanıcıların bile robots.txt dosyasını hatasız bir şekilde yönetmesini sağlar ve yanlışlıkla sitenin tamamını engelleme riskini minimize eder.
Manuel Yöntem: Fiziksel Robots.txt Dosyası Oluşturma ve Yükleme
Bazı durumlarda (özellikle çok büyük sitelerde veya özel sunucu yapılandırmalarında), eklentiler yerine manuel yöntemi tercih edebilirsiniz. Manuel yöntem, bir metin dosyası oluşturmayı ve bunu FTP (File Transfer Protocol) veya cPanel/hosting dosya yöneticisi aracılığıyla sitenizin kök dizinine yüklemeyi gerektirir.
Bu yöntem, eklentilerin yetersiz kaldığı veya sunucunuzun eklenti tabanlı düzenlemeye izin vermediği durumlar için idealdir. Ancak bu yöntemi kullanırken, dosyanın adının tam olarak ‘robots.txt’ olduğundan ve doğru konumda (genellikle ‘public_html’ veya ‘www’ klasörü) bulunduğundan emin olmalısınız.
FTP/cPanel Kullanarak Robots.txt Dosyasını Yükleme Adımları
Bu süreç, WordPress kurulumunuzun temel dosyalarına erişimi gerektirir:
- Robots.txt Dosyasını Oluşturma: Bilgisayarınızda basit bir metin düzenleyici (Notepad veya TextEdit) açın. İçine istediğiniz Disallow, Allow ve Sitemap direktiflerini yazın.
- Dosyayı Kaydetme: Dosyayı adını tam olarak
robots.txtolarak ve uzantısını.txtolacak şekilde kaydedin. Dosya türünün düz metin (plain text) olduğundan emin olun. - FTP Bağlantısı Kurma: FileZilla gibi bir FTP istemcisi veya hosting sağlayıcınızın cPanel/Plesk dosya yöneticisini kullanarak web sitenizin sunucusuna bağlanın.
- Kök Dizinine Gitme: WordPress kurulumunuzun kök dizinini bulun. Bu genellikle
public_html,www, veya alan adınızın adını taşıyan klasördür. Bu dizin içinde wp-config.php ve wp-content gibi klasörler bulunur. - Dosyayı Yükleme: Oluşturduğunuz
robots.txtdosyasını bu kök dizinine yükleyin veya sürükleyip bırakın. - Doğrulama: Yükleme tamamlandıktan sonra, tarayıcınızda
https://siteadi.com/robots.txtadresini ziyaret ederek dosyanın içeriğinin doğru görünüp görünmediğini kontrol edin.
Eğer kök dizininde zaten bir robots.txt dosyası varsa ve eklenti kullanmak yerine manuel düzenleme yapmak istiyorsanız, mevcut dosyayı indirip düzenledikten sonra tekrar aynı konuma yükleyerek üzerine yazabilirsiniz.
Etkili Bir WordPress Robots.txt Dosyası İçin En İyi Uygulamalar
Basitçe bir robots.txt dosyası oluşturmak yeterli değildir; dosyanın sitenizin SEO hedeflerine hizmet edecek şekilde optimize edilmesi gerekir. İşte WordPress siteleri için önerilen bazı temel kurallar ve en iyi uygulamalar:
1. Site Haritanızı Daima Belirtin
Bu, en kritik adımdır. Robots.txt dosyanızın en alt satırında, arama motorlarına XML site haritanızın nerede olduğunu söyleyin. Bu, botların sitenizdeki önemli URL’leri hızlıca keşfetmesini sağlar. Eğer Yoast veya Rank Math kullanıyorsanız, site haritası URL’niz genellikle /sitemap_index.xml şeklinde olacaktır:
Sitemap: https://www.siteadi.com/sitemap_index.xml
2. Gereksiz Dizine Ekleme Alanlarını Engelleyin
Tarama bütçesini korumak için, arama motorlarının görmemesi gereken alanları kesinlikle engelleyin. WordPress’te yaygın olarak engellenmesi gereken alanlar şunlardır:
- Yönetim Alanı:
Disallow: /wp-admin/(Yönetim panelinin ana dizini) - Eklenti Dosyaları:
Disallow: /wp-content/plugins/(Eklenti dosyalarının taranması nadiren faydalıdır) - Tema Dosyaları:
Disallow: /wp-content/themes/(Tema dosyaları, özellikle CSS/JS dosyaları, genellikle dizine eklenmemelidir, ancak Google’ın siteyi doğru render etmesi için bazı kritik CSS/JS dosyalarına izin verilmelidir. Bu kuralı uygulamadan önce test edin.) - Arama Sorgu Sayfaları:
Disallow: /?s=veyaDisallow: /*?s=(Yinelenen içerik oluştururlar) - Yinelenen İçerik Oluşturan URL Parametreleri:
Disallow: /*?add-to-cart=(E-ticaret siteleri için)
3. Allow Direktifini Akıllıca Kullanın
Bazen bir ana dizini engellemeniz gerekirken, o dizinin içindeki belirli bir dosyaya veya alt klasöre izin vermeniz gerekebilir. Örneğin, wp-admin’i tamamen engellediniz, ancak bazı Ajax işlevlerinin taranması gerekiyorsa:
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
4. Tarayıcıya Özel Kurallar
Çoğu zaman User-agent: * yeterli olsa da, bazen yalnızca belirli bir tarayıcıya özel kurallar uygulamak isteyebilirsiniz. Örneğin, Yandex veya Baidu gibi daha az önemli gördüğünüz botlara daha kısıtlı bir erişim verebilirsiniz. Her yeni User-agent tanımı, yeni bir kural bloğu başlatır.
Robots.txt Dosyanızı Test Etme ve Doğrulama
Robots.txt dosyanızı oluşturduktan veya düzenledikten sonra, sitenizin SEO performansını tehlikeye atmamak için bu kuralların doğru çalıştığından emin olmanız gerekir. Bu, Google Search Console (GSC) aracılığıyla yapılır.
Google Search Console Robots.txt Test Aracı
GSC’deki Robots.txt Test Aracı (Robot.txt Tester), yazdığınız kuralları simüle etmenize olanak tanır. Bu araç, belirli bir URL’yi girerek, Googlebot’un bu URL’yi robots.txt kurallarınız doğrultusunda tarayıp tarayamayacağını anında görmenizi sağlar.
Adımlar:
- Google Search Console hesabınıza giriş yapın.
- Site mülkünüzü seçin.
- Sol menüden ‘Eski Araçlar ve Raporlar’ altında yer alan ‘robots.txt Test Cihazı’na gidin (Eğer yeni arayüzde bu araç görünmüyorsa, Google genellikle bu işlevi ‘URL Denetleme’ aracına entegre etmiştir, ancak robots.txt test aracı hala kritik bir işlevdir).
- GSC, sitenizin mevcut robots.txt içeriğini gösterir.
- Test etmek istediğiniz bir URL’yi (örneğin,
/wp-content/plugins/içindeki bir dosyayı) alt kısımdaki alana yapıştırın. - Test et butonuna tıklayarak, Googlebot’un bu URL’yi taramasına izin verilip verilmediğini kontrol edin.
Eğer bir Disallow kuralı yanlışlıkla önemli bir sayfayı engelliyorsa, GSC size bunu hemen gösterecektir. Bu doğrulama adımı, WordPress’te Robots.txt Dosyası Nasıl Oluşturulur sürecinin son ve en önemli aşamasıdır. Yanlış bir Disallow kuralı, tüm sitenizin arama motorlarından kaybolmasına neden olabilir.
Ayrıca, robots.txt dosyanızın hatalı olup olmadığını kontrol etmek için, dosyanın kendisinin bir HTTP 200 (Başarılı) durumu döndürdüğünden emin olun. Eğer dosya bulunamazsa (404 hatası), arama motorları sitenizin tamamını taramaya devam etme kararı alabilir, bu da tarama bütçesi yönetimini zorlaştırır.
Robots.txt dosyasını oluşturmak, WordPress SEO stratejinizin ayrılmaz ve teknik bir parçasıdır. İster Yoast SEO veya Rank Math gibi kullanıcı dostu eklentileri tercih edin, ister manuel FTP yükleme yöntemini kullanın, bu dosyanın doğru yapılandırılması, arama motoru tarayıcılarının sitenizdeki en değerli içeriğe odaklanmasını sağlar. Tarama bütçesinin verimli kullanılması, hassas dizinlerin gizlenmesi ve site haritasının doğru bir şekilde belirtilmesi, sitenizin arama motoru sonuç sayfalarındaki (SERP) görünürlüğünü doğrudan artırır. Bu kapsamlı kılavuzda belirtilen adımları ve en iyi uygulamaları takip ederek, sitenizin robots.txt dosyasını tamamen optimize edebilir ve uzun vadeli SEO başarınız için sağlam bir temel oluşturabilirsiniz. Unutmayın ki, SEO dinamik bir süreçtir; bu nedenle robots.txt dosyanızı periyodik olarak kontrol etmek ve siteniz büyüdükçe veya yeni eklentiler ekledikçe güncel tutmak hayati önem taşır.
Bir yanıt yazın