Robot.txt dan Custom robot header tags adalah suatu perintah kepada para robot crawling (robot perayap mesin pencari) untuk mengindeks maupun tidak mengindeks kepada suatu web. Hal ini memang sangat bermanfaat sekali dalam sistem SEO , karena robot hanya merayap hal-hal yang penting saja di blog kita, sehingga waktu perayapan pun cepat. Waktu perayapan oleh para robot crawling cepat maka otomatis kita dalam ke search oleh para Search Engine pun lebih mudah dan cepat. Untungnya sekarang Blogger sudah menyediakan untuk tempat Robot.txt dan Custom Robot Header Tags . Jadi kita bisa setting prefensi penelusuran agar lebih cepat. -» Membuat Settingan robot.txt Klik Edit Pada Custom Robot.txt dan pilih Yes Masukan kode Di Bawah ini ke dalam kotak User-agent: * Disallow: /search?* User-agent: Mediapartners-Google Allow:/ Sitemap: http://rvebriant.blogspot.com/ feeds/posts/default?orderby=updated Sitemap: http://rvebriant.blogspot.com/ si...