網(wǎng)站 robots.txt 文件配置方法，如何禁止搜索引擎收錄指定網(wǎng)站某一篇超鏈接地址呢，今天跟著家興網(wǎng)絡一起學學吧。

搜索引擎通過網(wǎng)絡蜘蛛抓取網(wǎng)頁的內容，并展示在相關的搜索結果中。但是有些網(wǎng)頁內容我們可能并不想被搜索引擎收錄和索引，如管理員后臺等。

我們就可以通過 robots.txt 文件來聲明允許/禁止搜索引擎的蜘蛛抓取某些目錄或網(wǎng)頁，從而限制搜索引擎的收錄范圍。

什么是robots.txt

Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

Robots.txt用法：

User-agent：用于指定指令所作用于的目標抓取工具（網(wǎng)絡蜘蛛），后接抓取工具名稱；

Disallow：指定不允許抓取的目錄或網(wǎng)頁，后面為空則表示允許抓取一切頁面；

Allow：指定允許抓取的目錄或網(wǎng)頁；

Sitemap：站點地圖的位置，必須是絕對路徑；

*：表示通配符；

$：表示網(wǎng)址結束；

/：匹配根目錄以及任何下級網(wǎng)址。

禁止抓取某一個超鏈接：

Disallow: /news/hangyejishu/43.html

robots.txt文件用法舉例

分享讓更多人看到