网站简介：今天说个很多站长都忽略的事：网站的robots.txt。这个文件虽然小，但作用很大。
robots.txt是干嘛的？它告诉搜索引擎哪些页面可以爬，哪些不要爬。写得好，蜘蛛爬得高效；写错了，可能把重要页面屏蔽了。
常见的坑。有人图省事写了Disallow: /，结果整个网站都不被收录。还有人把CSS和JS目录屏蔽了，导致搜索引擎看不懂页面结构。
正确做法。一般情况下，只要屏蔽后台、搜索结果页这些没用的页面就行。我这个站的robots.txt很简单，只禁止了/wp-admin/和带参数的搜索页。
sitemap也要提交。光靠蜘蛛自己爬效率低，主动提交sitemap能让收录快很多。百度搜索资源平台里有提交入口，每周提交一次。
这些基础设置我都放在站长工具栏目了，新手站长可以照着做。
本网站信息为依依网址导航站收集于公开网络，如果疑义请联系我们删除。
