Robot.txt dan Custom robot header tags adalah suatu perintah kepada para robot crawling (robot perayap mesin pencari) untuk mengindeks maupun tidak mengindeks kepada suatu web. Hal ini memang sangat bermanfaat sekali dalam sistem SEO, karena robot hanya merayap hal-hal yang penting saja di blog kita, sehingga waktu perayapan pun cepat. Waktu perayapan oleh para robot crawling cepat maka otomatis kita dalam ke search oleh para Search Engine pun lebih mudah dan cepat. Untungnya sekarang Blogger sudah menyediakan untuk tempat Robot.txt dan Custom Robot Header Tags. Jadi kita bisa setting prefensi penelusuran agar lebih cepat.-» Membuat Settingan robot.txt
- Klik Edit Pada Custom Robot.txt dan pilih Yes
- Masukan kode Di Bawah ini ke dalam kotak
User-agent: *Disallow: /search?*User-agent: Mediapartners-GoogleAllow:/Sitemap: http://rvebriant.blogspot.com/feeds/posts/default?orderby=updatedSitemap: http://rvebriant.blogspot.com/sitemap.xml
- Ganti Sitemapnya dengat Sitemap milik anda.
- Lalu klik Save Changes.
-» Mengatur Meta Tag Robot
- Untuk Setting Robot Header Tags bisa anda lihat gambar di bawah ini
Centang seperti gambar di atas
*Klik pada gambar, agar lebih jelas
Semoga bermanfaat 