Etiket arşivi: wordpress robots.txt

Robots.txt Oluşturma

robots.txt-nedirRobots.txt Nedir? Robats.txt nasıl Oluşturulur?

robots.txt arama motorlarına yol gösterici mahiyette kodların yer aldığı site ana dizinde bulunması gereken bir txt dosyasıdır. Arama motoru robotları siteye ilk girdiklerinde bu txt’ye bakarak hangi dizinleri indexleyip indexlemiyeceklerini anlarlar. Arama motorları siteyi indexlemek için robots.txt dosyasını görmezlerse tüm dizinleri indexlerler. Websitenizin içerisinde gizlilik içeren klasör ve dosyalarınız mevcutsa, arama motorlarının size özel dosyaları index’lememesi için robots.txt oluştururken Disallow olarak belirtirseniz indexlenmesine engel olmuş olursunuz. Robots.txt Oluşturma yazısına devam et