robots是什么意思

robots “機(jī)器人”，在網(wǎng)站優(yōu)化領(lǐng)域即搜索引擎機(jī)器人，搜索引擎是根據(jù)自定的算法自動(dòng)抓取網(wǎng)站、網(wǎng)頁的，而負(fù)責(zé)這個(gè)任務(wù)的就是這個(gè)各個(gè)搜索引擎的robots。eg：Google網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為GoogleBot，Baidu網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為BaiDuSpider， Yahoo網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為Inktomi Slurp。