贵州省百度搜索seo实例教程:robots.txt严禁百度收录

1. 什么叫robots.txt? robots.txt 是网站和检索模块的协议书的纯文字文档。当一个检索模块搜索引擎蜘蛛到访问站点时,它最先爬...


1. 什么是robots.txt? robots.txt 是网站和检索模块的协议书书的纯文字文本文档。当一个检索模块检索模块搜索引擎蜘蛛来访问网站时,它最开始抓取来检查该网站网站根目录下不是是存在robots.txt,倘若存在,根据文本文档内容来确立访问范围,如果沒有,检索模块搜索引擎蜘蛛就沿着联接抓取。robots.txt 放进最新项目的网站根目录下。2. robots.txt英文的英语的语法

百度搜索百度收录协议书撰写法

1) 允许所有检索模块访问网站的所有一一部分 robots.txt书写下列: User-agent: * Disallow: 或者 User-agent: * Allow: / 注意: 1. 第一个英语要英语英文大写,灶具是英文状况下,灶具后面有一个空格符,这好多个层面一定不能以填错。 2) 严禁所有检索模块访问网站的所有一一部分 robots.txt书写下列: User-agent: * Disallow: / 3) 只务必严禁检索模块搜索引擎蜘蛛访问某一文档文件目录,比如严禁aseo监管dmin、css、images等文档文件目录被数据信息库数据库索引 robots.txt书写下列: User-agent: * Disallow: /css/ Disallow: /admin/ Disallow: /images/

$ Disallow: / 7)严禁数据信息库数据库索引网站内所有的动态性性网页页面网页页面 比如这儿限制贵州省百度搜索seo实例教程:的是有“?”的域名,例如index.php?id=1 robots.txt书写下列: User-agent: * Disallow: /*?* 8) 严禁检索模块抓取大伙儿网站在的所有照片(倘若你的网站运用其他后缀名名的照片姓名,在这里儿还能够马上再加) 贵州省百度搜索seo实例教程: 一些状况下,大伙儿便于节省网络服务器室内空间,务必严禁各种各样检索模块来数据信息库数据库索引大伙儿网站在的照片,这儿的方式除开运用“Disallow: /images/”那般的马上屏蔽掉掉文档夹名字的方式之外,还 可以 选用马上屏蔽掉掉照片文档后缀名名的方式。 robots.txt书写下列: User-agent: * Disallow: .jpg$ Disallow: .jpeg$ Disallow: .gif$ Disallow: .png$ Disallow: .bmp$贵州省百度搜索seo实例教程:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://zjzkt.cn/ziyuan/5425.html