全國服務熱線
400-050-4004
網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫
Robots在網站SEO優化工作中,是比較重要的一個環節,特別是當你的網站包含不希望被搜索引擎收錄的內容的時候,Robots.txt文件能告訴蜘蛛哪些可以抓取,哪些不能抓取。很多新手和站長朋友對Robots不是很了解,今天,網站SEO優化—梓琳SEO為大家分享的是:網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫


Robots是什么意思
網站SEO優化中Robots是什么意思,Robots . txt的定義

Robots . txt又稱爬蟲協議、機器人協議等。簡單的來說,它告訴搜索引擎哪些頁面可以被抓取,哪些頁面不能被抓取。當蜘蛛訪問站點時,它首先檢查robots.txt是否存在于站點的根目錄中。如果存在,蜘蛛將根據Robots . txt文件內容確定訪問范圍;如果Robots . txt文件不存在,蜘蛛將訪問站點上的所有頁面。

網站SEO優化中,Robots的作用

1. 引導搜索引擎蜘蛛抓取特定的內容或者欄目;

2. 屏蔽對搜索引擎不友好的鏈接,特別是網站版面大幅度修改或URL重寫優化的時候;

3. 屏蔽死鏈和404錯誤頁面;

4. 屏蔽無內容、無價值的頁面,比如客戶留言頁面;

5. 屏蔽重復頁面,如評論頁面,搜索結果頁面;

6. 屏蔽任何不想被抓取,不想被收錄的頁面;

7. 引導蜘蛛抓取網站地圖。

Robots使用說明【百度站長】

1. robots.txt可以告訴百度您網站的哪些頁面可以被抓取,哪些頁面不可以被抓取。

2. 您可以通過Robots工具來創建、校驗、更新您的robots.txt文件,或查看您網站robots.txt文件在百度生效的情況。

3. Robots工具目前支持48k的文件內容檢測,請保證您的robots.txt文件不要過大,目錄最長不超過250個字符。

4. 如需檢測未驗證站點的robots設置,請在百度站長上進行檢測。


Robots.txt文件怎么寫,以梓琳SEO為例
Robots.txt文件怎么寫

robots.txt文件的寫法,以zilinseo.com 梓琳SEO為例:

1、User-agent:(定義搜索引擎)

示例:

User-agent: *(定義所有搜索引擎)

User-agent: Googlebot (定義谷歌,只允許谷歌蜘蛛爬取)

User-agent: Baiduspider (定義百度,只允許百度蜘蛛爬取)

不同的搜索引擎的搜索機器人有不同的名稱,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:(用來定義禁止蜘蛛爬取的頁面或目錄)

示例:

Disallow: /(禁止蜘蛛爬取網站的所有目錄 "/" 表示根目錄下)

Disallow: /admin (禁止蜘蛛爬取admin目錄)

Disallow: /abc.html (禁止蜘蛛爬去abc.html頁面)

Disallow: /lianxiwomen.html (禁止蜘蛛爬去lianxiwomen.html頁面)

3、Allow:(用來定義允許蜘蛛爬取的頁面或子目錄)

示例:

Allow: /admin/test/(允許蜘蛛爬取admin下的test目錄)

Allow: /admin/abc.html(允許蜘蛛爬去admin目錄中的abc.html頁面)

4、匹配符 “$”

$ 通配符:匹配URL結尾的字符

5、通配符 “*”

* 通配符:匹配0個或多個任意字符


Robots.txt需要注意的問題
Robots.txt文件需要注意的問題

1、robots.txt 文件必須放在網站的根目錄中,不可以放在子目錄中。

比如以梓琳SEO為例,robots.txt 文件放網站根目錄。通過http://www.zilinseo.com/robots.txt 你就可以訪問www.zilinseo.com的robots.txt文件了。

2、robots.txt 文件命令必須小寫,記得是robots而不是robot。

3、User-agent、Allow、Disallow的 “:” 后面有一個字符的空格。

4、路徑后面加斜杠“/” 和不加斜杠的是有區別的

比如:Disallow: /help

禁止蜘蛛訪問 /help.html、/help/abc.html、/help/index.html

Disallow: /help/

禁止蜘蛛訪問 /help/index.html。 但允許訪問 /help.html、/helpabc.html

網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫—梓琳SEO的分享到這里就結束了,robots文件相當于給蜘蛛方向指引,減少不必要的抓取任務。特別是當網站改版,有死鏈或者不想收錄的頁面的時候,Robots.txt文件更為重要。

[返回上一級]

版權所有 2006-2020 www.882097.tw 帝國網絡 營銷熱線:400-050-4004       售后:0755-86200006
江西多乐彩走势