robots.txt基本介紹
robots.txt是一個純文本文件，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。
當(dāng)一個搜索機(jī)器人（有的叫搜索蜘蛛）訪問一個站點(diǎn)時，它會首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，那么搜索機(jī)器人就沿著鏈接抓取。
另外，robots.txt必須放置在一個站點(diǎn)的根目錄下，而且文件名必須全部小寫。
robots.txt寫作語法
首先，我們來看一個robots.txt范例：http://www.seovip.cn/robots.txt
訪問以上具體地址，我們可以看到robots.txt的具體內(nèi)容如下：
# Robots.txt file from http://www.seovip.cn
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表達(dá)的意思是允許所有的搜索機(jī)器人訪問www.seovip.cn站點(diǎn)下的所有文件。