Robots.txt

File yang memberi arahan kepada crawler mesin pencari tentang halaman mana yang boleh atau tidak boleh dirayapi.

Istilah ini termasuk kelompok pengembangan perangkat lunak, di luar inti AI dan SI, dan dimuat sebagai pendukung.

Entri ini masih berupa catatan awal: belum ditinjau dan belum memiliki rujukan sumber.

Istilah terkait