Cara Mengaktifkan dan Men-Setting Robot.txt

Hai Sobat Eskapusa

Kali ini saya akan bahas sedikit mengenai cara meng aktifkan Fitur Robot.txt di Bloger...
Berikut caranya..!

  1.  Silahkan log in ke blogger dengan akun blogger anda.
  2.  Klik setelan/settings > Preferensi penelusuran / Search preferences.

                          

  3.  Pada Tab Perayapan dan Pengindeksan/Crawlers and indexing silahkan pilih robot.txt

4.  Masukkan perintah dibawah ini:

User-agent: Mediapartners-GoogleDisallow:

User-agent: *Disallow: /searchAllow: /

Sitemap: http://news.eskapusa.com/feeds/posts/default?orderby=UPDATED

# Ganti url http://news.eskapusa.com/ dengan url blog anda.

Keterangan:

• Pada kelompok baris pertama itu adalah informasi user agent milik google yang menandakan bahwa blog ini adalah partner dari google, ini memudahkan bagi kita yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
• Pada kelompok baris kedua itu adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search  yag menandakan semua robot mesin pencari tidak boleh mengindeks page label.Hal ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
• Pada kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog kita.
• Tanda "/" adalah tanda home page kita, jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home blog kita.

   5. Klik Save Changes / simpan perubahan.