Cara Setting Robot.txt Blogger SEO friendly

Dengan setting Robot.txt dan  Tag Header Robot Khusus, yang berguna membantu perayapan dan pengindeksan blog di search engine. Selain dari itu, mengatur robot.txt dan tag header robot khusus juga merupakan suatu optimasi search engine atau yang dikenal dengan SEO.

Bagaimana membuat Blog anda lebih SEO Friendly?

Berikut adalah Cara Setting Robot.txt yang pertama.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu misalanya halaman About anda, maka Anda cukup menulis robot.txt seperti berikut:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=updated

Settingan robot.txt berikut ini adalah untuk mencegah duplikat konten atau judul di blog, khususnya duplikat konten yang terjadi karena website dilihat dari mobile phone :

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED

Settingan Tag Header Robot Khusus

Setelan ► Preferensi Penelusuran ► Tag tajuk robot khusus ► Edit ► Pilih Ya
Sesuaikan seperti gambar dibawah ini

Settingan seperti di atas bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog. Dan beberapa gambar yang dimuat diblog anda dengan settingan diatas tidak akan diindex.