Untuk melihat URL Google telah diblokir dari merangkak, kunjungi halaman URL yang Diblokir dari bagian Crawl dari Webmaster Tools.
Anda perlu file robots.txt hanya jika situs Anda termasuk konten yang Anda tidak ingin mesin pencari untuk mengindeks. Jika Anda ingin mesin pencari untuk mengindeks segala sesuatu di situs Anda, Anda tidak perlu file robots.txt (bahkan juga halaman kosong).
Meskipun Google tidak akan mengindeks konten halaman yang diblokir oleh robots.txt, kita mungkin masih indeks URL jika kita menemukan mereka di halaman lain di web. Akibatnya, URL halaman dan, berpotensi, informasi publik lainnya seperti jangkar teks dalam link ke situs, atau judul dari Open Directory Project (www.dmoz.org), dapat muncul dalam hasil pencarian Google.
Untuk menggunakan file robots.txt, Anda harus memiliki akses ke root domain Anda (jika Anda tidak yakin, periksa dengan hoster web Anda). Jika Anda tidak memiliki akses ke root domain, Anda dapat membatasi akses dengan menggunakan robot tag meta.
Untuk sepenuhnya mencegah isi suatu halaman dari yang tercantum dalam indeks web Google bahkan jika link ke situs lain itu, menggunakan meta tag noindex atau x-robot-tag. Selama Googlebot menjemput halaman, itu akan melihat meta tag noindex dan mencegah laman tersebut ditampilkan di indeks web. header HTTP x-robot-tag sangat berguna jika Anda ingin membatasi pengindeksan file non-HTML seperti grafis atau jenis lain dari dokumen.
Sumber
Baca Juga Cara Membuat Robot Text Untuk Blogger
0 nhận xét:
Đăng nhận xét