robots²

网站安装好wordpress程序后，wordpress会网站根目录自动为我们的网站创建一个robots.txt文件，蜘蛛爬取网站首先爬取的就是robots.txt文件，这个文件可以说非常重要，设置不好会影响网站的收录...

网站SEO中robots文件对搜索引擎比较重要，首先我们了解一下什么是robots，简单的解释一下就是类似于目录，它告诉搜索引擎哪些可以爬取，哪些不可以爬取，所有的搜索引擎会首先访问网站根目录下robots.txt文...