Web Tabanlı Dökümanlar

Robots.txt Nedir, Nasıl Oluşturulur?

Robots.txt Nedir?
Robots.txt
, arama motoru yazılımlarına sitenizin hangi bölümlerini dizine ekleyebileceğini, hangi dizini taraması gerektiğini, hangi arama motoru yazılımının giriş izni olduğunu veya olmadığını söylemeye yarayan basit bir komut dosyasıdır. Örümcek olarak da adlandırılabilen Arama motoru yazılımları sitenize geldiğinde ilk olarak bu dosyayı tarar ve dosyadaki komutlara göre sitenin izin verilen bölümlerini dizine ekler.

Basitçe açıklamak gerekirse Robots.txt sitenizin sınır kapılarını kontrol etmeye benzer. Arama motoru robotlarının hangi sınır kapılarından girebileceğini, hangilerinden giremeyeceğini, hangi arama motoru robotunun giriş izni olduğunu, hangisinin olmadığını belirlemenizi sağlar. Robots.txt dosyası ve içerdiği komutlar doğru şekilde hazırlandıysa, arama motoru robotları bu kurallara uyar ve sitenizi verdiğiniz komutlar doğrultusunda tarar. Bu işlem Robotları Engelleme Standardı (veya Robot Engelleme Protokolü) olarak adlandırılır.

Robots.txt dosyası, her Web sitesinde mutlaka olması gereken bir dosyadır ve doğru şekilde hazırlanmış olması gerekmektedir. Doğru komutlar kullanılarak hazırlanmamış bir Robots.txt dosyası arama motorları tarafından dikkate alınmaz ve taranmasını istemediğiniz dizinler de taranabilir. Bu yüzden kendisi küçük ama etkisi büyük olan bu dosyanın doğru şekilde hazırlanmış olması gerekmektedir.

WordPress için En İdeal Robots.txt Doyası Nasıl Olmalı?
En kullanışlı Robots.txt dosyası özellikleri ile standartların dışında olması gerekmektedir. Günümüzde internet dünyasında pek çok popüler blog ve e-ticaret sitesi, gayet kullanışlı ancak çok basit olan bir Robots.txt dosyası kullanmaktadır. Bu dosyanın içeriği, belirli sitelerin kendi gereksinimlerine göre değişiklik gösterebilmektedir. Tüm arama motoru botlarının, web sitenizdeki bütün içerikleri indexlemesini sağlayan ve web sitenizin XML site haritalarına bağlantı veren ideal Robots.txt dosyası şu şekildedir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.siteadi.com/post-sitemap.xml
Sitemap: http://www.siteadi.com/page-sitemap.xml

WordPress Robots.txt Dosyası Nasıl Oluşturulur?
WordPress için Robots.txt dosyası oluşturma, sanıldığından çok daha basit bir işlemdir. Robots.txt dosyası oluşturmanın bilinen iki yolu bulunmaktadır. FTP ile Robots.txt dosyasını direkt olarak düzenlemeniz mümkündür. Bunun için Yoast SEO eklentisi kullanıyorsanız, Robots.txt dosyası dosya üretici de araçlar kısmında eklenti içinde Robots.txt dosyası da yer almaktadır. Bunun için WordPress panelinizde;

SEO >
Araçlar >
Dosya düzenleyici


basamaklarını geçmeniz yeterlidir. Bir Robots.txt dosyası dosyanız bulunmuyorsa Yoast SEO bu sayfadan otomatik olarak oluşturabilmektedir. Tüm işlemlerden sonra değişiklikleri saklamak için “Robots.txt dosyasını kaydet” butonuna tıklamanız gerekmektedir.


Bu makaleyi 2 dakikada okuyabilirsiniz.

Admin

Yıllardır internetle haşır neşir, bir şeyler üretmeyi seven, insanların faydalı bilgiler edinmesini sağlamak amacım. Müzik ve teknolojiyle arası iyi bir zat-ı muhterem. :)

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir