
Robots.txt adalah suatu file yang di berguna untuk memudahkan suatu search engine mengindex halaman web kita.Jika search engine crawler datang di web kita, maka dia akan mencari file robots.txt dan memberitahukan search engine spider bahwa halaman web tersebut harus di index atau di abaikan.Berikut beberapa kesalahan mengapa robot search engine menjauh di web kita : 1. Robots.txt rusak atau berisi parameter yang salah salahJika robot google salah membaca isi robots.txt anda, maka google akan mengabaikan halaman web anda.Anda bisa mempelajari tata cara penulisan robots di http://www.robotstxt.org/ 2. Halaman web anda mempunyai code terlalu panjangJika...