Robots.txt Oluşturma

robots.txt-nedirRobots.txt Nedir? Robats.txt nasıl Oluşturulur?

robots.txt arama motorlarına yol gösterici mahiyette kodların yer aldığı site ana dizinde bulunması gereken bir txt dosyasıdır. Arama motoru robotları siteye ilk girdiklerinde bu txt’ye bakarak hangi dizinleri indexleyip indexlemiyeceklerini anlarlar. Arama motorları siteyi indexlemek için robots.txt dosyasını görmezlerse tüm dizinleri indexlerler. Websitenizin içerisinde gizlilik içeren klasör ve dosyalarınız mevcutsa, arama motorlarının size özel dosyaları index’lememesi için robots.txt oluştururken Disallow olarak belirtirseniz indexlenmesine engel olmuş olursunuz.

Tüm robotların sitenizi indexlemesini istiyorsanız. robots.txt şu şekilde olmalı

User-agent: * Disallow:

Disallow un türkçe karşılığı “izin vermemek” anlamındadır.

Arama motoru robotlarının hangi dizinleri indexlemesini istemiyorsanız.

User-agent: * Disallow: /cgi-bin/ Disallow: /images/private/ Disallow: /wp-content/plugins/

gibi engellenmesini istediğiniz dizinlere belirterek indexlemesini önleyebilirsiniz.

User-agent: xxx.com  kısmına arama motoru sitelerinin isimlerini yazarak arama motorlarının sitenizi indexlemesini engelliyebilirsiniz. robots.txt yi oluştururken dikkatli olmak durumundasınız. yanlış düzenlenen bir robots.txt dosyası sitenizin hiç indexlenmemesine neden olabilir.

wordpress bloğunuz olupta robots.txt nin nasıl düzenlenmesi gerektiği konusunda tereddütleriniz varsa.  “wp-robots-txt” eklentisini wordpress sitesinden indirip eklentilerin içine atıp aktifleştirdikten sonra yönetim panelinden oluşturabilirsiniz.

wordpress robots.txt nin en iyi nasıl olması gerektiği konusunda binlerce döküman bulmak mümkün. Bana göre gizli bir içeriğiniz yoksa bu dosyayı oluşturup oluşturmamanız çok önemli değildir. Sade bırakmakta fayda görüyorum.

1 User-Agent: *
2 Disallow: /wp-content/plugins/

şeklinde oluşturulacak bir wordpress robots.txt dosyası yeterli olabilir. Sadece wordpress sitenizde kullanmış olduğunuz eklentilerin indexlenmesine engel olmuş olursunuz. wp-config php gibi mysql bilgilerinin yer aldığı dosyayıda engelleyebilirsiniz .

Bir önceki yazımız olan C Class İp Nedir başlıklı makalemizi de okumanızı öneririz.

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir