Robot是什么

    Robot英文直譯是機器人，在搜索引擎優(yōu)化SEO中，我們經(jīng)常翻譯為：探測器。
    有時，你會碰到crawler（爬行器），spider（蜘蛛），都是探測器之一，只是叫法不同。
    SEO中常說的這個探測器（Robot）是什么？
    搜索引擎用來抓取網(wǎng)頁的工具。它是一個軟件或者說一系列自動程序（顯然，不是一部機器）。
    不同的搜索引擎給他們自己的探測器（Robot）起不同的名字。
    谷歌：googlebot  百度：baiduspider   MSN:MSNbot   Yahoo:Slurp  （yahoo家的這位比較特殊，沒有帶“姓”,并且用的是一個擬聲詞。Slurp,中文理解是機器人吃東西時發(fā)出的嘖嘖的聲音）
    關(guān)于Robot,需要關(guān)心的主要是Robots.txt,以及網(wǎng)站日志中包含的以上幾個名字。