Şubat 17th, 2017

Robots.txt Nedir? Robots.txt Nasıl Oluşturulur?

Robots.txt, arama motoru örümceklerine, web sitenizde hangi bölümlere erişip erişemeyeceğini bildiren komut dosyasıdır. Sitenin kök dizininde yer alan robo ts.txt dosyasının yeri ve adı değiştirildiğinde işlev kaybeder.

Robots.txt Nasıl Oluşturulur?

Robots.txt dosyası, yeni metin belgesi olarak oluşturulur ve içerisine yalnızca arama motoru örümceklerinin anlayabileceği komutlar içerir.

Robots.txt dosyasını oluşturmak için manuel olarak bir metin belgesi açılır ve adı robots koyulur. Sonrasında standart robots.txt komutlarını içerisine eklemeniz gerekmektedir. Ardından sitenizin kök dizinine robots.txt dosyanızı göndermeniz yeterli olacaktır. Peki robots.txt komutları nelerdir?

Robots.txt Komutları Nelerdir?

User-agent: Sitenizi hangi arama motoru botunun görmesini istiyorsanız onu yazmanız gereklidir. Eğer ki tüm botlara izin verecekseniz (*) yıldız işareti koymanız yeterlidir. Eğer sadece Google botları sitenizi takip etsin istiyorsanız, Googlebot yazmanız gereklidir.

Disallow: Arama motoru botlarının sitenizde hangi dizinlere erişim sağlamamasını istiyorsanız bu dizinleri yazmanız için Disallow kodu bulunmaktadır. “Disallow: /wp-content/” şeklinde kod yazarsanız, wp-content dizini arama motoru botlarına kapalı olacaktır.

Allow: Disallow’un tam tersi olarak işlem gören Allow komutu, sitenizde yer alan bir dizini göstermenizi sağlar. “Allow: /wp-content/ornek.html” şeklinde kod yazarsanız wp-content dizininde yer alan ornek.html dosyasını görmeye izin vermiş olursunuz.

Sitemap: Robots.txt içerisinde site haritanızı arama motoru örümceklerine bildirmek için eklenir. “Sitemap: http://www.peakment.com/sitemap.xml” şeklinde eklenir.