seo优化中的robots协议文件怎么编辑？

发布时间：2022-04-04 13:12 所属栏目：21 来源：互联网

导读：seo优化中的robots协议文件的作用就是为了屏幕一些对网站排名没有关联的内容文件，让搜索引擎蜘蛛抓取更加顺畅，不过很多新手seo对robots的设置不是很了解。今天seo知识网就为大家介绍一下seo优化中的robots协议文件怎么编辑？希望对大家有所帮助。 robots协

seo优化中的robots协议文件的作用就是为了屏幕一些对网站排名没有关联的内容文件，让搜索引擎蜘蛛抓取更加顺畅，不过很多新手seo对robots的设置不是很了解。今天seo知识网就为大家介绍一下seo优化中的robots协议文件怎么编辑？希望对大家有所帮助。

robots协议一般普遍的robots协议书写如下：
User-agent:*
Disallow:/*?*
robots协议放哪儿呢？robots.txt这一文件名称是固定不动的，务必那样写。无论大家做哪些的网站全是这一名字。robots协议文档放到网站根目录，说白了的网站根目录便是http://网站域名/robots.txt可以立即浏览到的。
robots.txt的书写标准：
Disallow:/*?*禁止访问网址中全部的动态性网页页面。
Disallow:/jpg$严禁爬取网页页面全部的.jpg格式的照片。
Allow:/tmp这儿界定是容许爬寻tmp的全部文件目录。
Allow:.htm$仅容许浏览以".htm"为后缀名的URL。
Allow:.gif$容许爬取网页页面和gif格式照片。
User-agent:*这儿的*意味着的全部的百度搜索引擎类型，*是一个使用通配符,容许搜索引擎蜘蛛浏览全部网页页面。
Disallow:/admin/这儿界定是严禁爬寻admin文件目录下边的文件目录。
Disallow:/require/这儿界定是严禁爬寻require文件目录下边的文件目录。
Disallow:/cgi-bin/*.htm禁止访问/cgi-bin/文件目录下的全部以".htm"为后缀名的URL(包括根目录)。
Disallow:/abc/这儿界定是严禁爬寻abc全部文件目录。
以上就是“seo优化中的robots协议文件怎么编辑？”的相关介绍，希望对大家有所帮助。

（编辑：ASP站长网）