Turkcell Blog Ara Turkcell

Robots.Txt Düzenlemeleri

Apple Beats'i neden satın alıyor?

Mekjoy SEO’nun hazırlamış olduğu bu makale içeriğinde sizlere robots.txt dosyasının nasıl düzenlenmesi gerektiği ile ilgili olarak ipuçları verilecektir.

Robots.Txt dosyası, sitenin indekslenmesi gereken ve indekslenmemesi gereken kısımlarını Google Botuna belirtebilmek için kullanılan bir dosyadır. Google, Robots.txt üzerinde girmeyeceği alanları bulur.

Robots.txt dosyası içeriğinde iki adet değişken bulunur, birincisi kullanıcı temsilcisi (bkz: Peki ya tema ne olacak) isminin belirtileceği değişken, ikincisi ise bu temsilciye verilecek olan izinlerin atandığı değişkendir.

User-Agent olarak vücut bulan kullanıcı temsilcisi değişkenine “*” şeklinde bir atama yapacak olur isek, site üzerinde Google Bot’unun giriş yaptığı ve bağlantılanan her yeri istisna olmadan indekslemesine izin verdiğimiz anlamına gelecektir. Ancak Disallow kısmında kullanılacak bir Slash (/) işareti, site üzerindeki tüm dosyaların taranmaması için gerekli olan semboldür.

NOT: Slash işareti koyulduğunda, PDF, RTF ve benzeri dosyalar taranıp indekslenmeyecektir.

Oluşturacağımız kod yapısı aşağıdaki şekildedir;

User-Agent: *

Disallow: /

Disallow kısmında gösterilecek olan klasör isimleri yine aynı şekilde indekslenmeyecektir.

Hemen örnek bir kodlama yapalım;

User-Agent: *

Disallow: /administrator/

 

Wordpress sistem yönetiminde kullanılan en genel robots.txt kodlaması aşağıdaki şekilde verilmiştir.

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Etiketler : robots.txt düzenleme, robots.txt kodları,