robots文件存在于网站根目录，是用来通知百度蜘蛛那些应该抓取，那些不应该抓取。正确应用robots文件有助于做好seo优化，robots文件的外围词汇就是allow和disallow用法。百度官网是认可这个文件的，在百度站长平台上也有robots这个栏目，点击进入，就能够看到你网站robots文件能否编写正确了。百度robots文件应用阐明■1、robots.txt能够通知百度您网站的哪些页面能够被抓取，哪些页面不能够被抓取。■2、您能够经过Robots工具来创立、校验、更新您的robots.txt文件，或查看您网站robots.txt文件在百度失效的状况。■3、Robots工具暂不支持https站点。■4、Robots工具目前支持48k的文件内容检测，请保障您的robots.txt文件不要过大，目录最长不超越250个字符。上图我给的一个例子中，disallow语句有成绩{dq}SEO优化经验！缘由是把英文的冒号写成了中文的冒号。当然间接输出网站根目录加上robtots.txt文件也能够User-agent:* 是用来置顶那些搜寻引擎蜘蛛能够抓取的，普通默许设置Disallow:/category/*/page/ 分类目录上面翻页后的链接，比方，进入校赚网分类目录 “推行经营经历”目录后，在翻页一次，就成了 stcash.com/category/tuiguangyunying/page/2方式了Disallow:/?s=*Disallow:/*/?s=*搜寻后果页面和分类目录搜寻后果页面，这里没必要再次抓取。Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/ 这三个目录是零碎目录，{dq}SEO优化经验！普通都是屏蔽蜘蛛抓取Disallow:/*/trackback trackback的链接Disallow:/feed Disallow:/*/feed Disallow:/comments/feed订阅链接Disallow:/?p=* 文章短链接，会主动301跳转到长衔接例如，朱海涛博客之前就被收录过短衔接Disallow:/*/comment-page-* Disallow:/*?replytocom* 这两个我在之前文章有过阐明，来自于评论链接，很容易造成反复收录。在robots.txt文件的最初还能够制订sitemap文件Sitemap:http://***.com/sitemap.txtsitemap地址指令，支流是txt和xml格局。在这里分享一段张戈所写txt格局的simemap文件。1.7.";?>8.";15.}16.?>17.0){21.foreach($mypagesas$page){22.echoget_page_link($page->ID);23.echo"
";24.}25.}26.?>27.0){32.foreach($termsas$term){33.echoget_term_link($term,$term->slug);34.echo"
";35.}36.}37.?>38.$tag){42.$link=get_term_link(intval($tag->term_id),"post_tag");43.if(is_wp_error($link)){44.returnfalse;45.$tags[$key]->link=$link;46.}47.echo$link;48.echo"
";49.}50.?>将上述代码保留到txt文件，上传到根目录，并且在robots.txt文件中指定即可这里给大家共享下我的robots.txt文件User-agent: *Disallow:/wp-admin/Disallow: /*/comment-page-*Disallow: /*?replytocom*Disallow: /wp-content/Disallow: /wp-includes/Disallow: /category/*/page/Disallow: /*/trackbackDisallow: /feedDisallow: /*/feedDisallow: /comments/feedDisallow: /?s=*Disallow: /*/?s=*Disallow: /attachment/Disallow: /tag/*/page/