网站安装好wordpress程序后，wordpress会网站根目录自动为我们的网站创建一个robots.txt文件，蜘蛛爬取网站首先爬取的就是robots.txt文件，这个文件可以说非常重要，设置不好会影响网站的收录，如何设置下面会具体说一下。
我们可以看到，wordpress程序只是为网站的robots.txt文件添加了3句简单的代码：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
从上面的代码中，wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录，但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。
总结WordPress全部robots.txt配置
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /articles/*/feed
注意事项：
避免收录WordPress系统文件
避免收录重复的内容
正确引导搜索引擎找到网址地图
以上仅供参考
文章版权声明
1 本网站名称：忆路吧
2 本站永久网址：http://www.Yiluxb.cn
3 本网站的文章部分内容来源于网络，仅供大家学习与参考，如有侵权，请联系站长 QQ进行删除处理。
4 本站资源仅供学习和交流使用，版权归原作者所有，请在下载后24小时之内自觉删除。
5 本站大部分下载资源收集于网络，不保证其完整性以及安全性，不提供技术支持，请下载后自行研究。
6 若作商业用途，请购买正版，由于未及时购买和付费发生的侵权行为，使用者自行承担，概与本站无关。
2 本站永久网址：http://www.Yiluxb.cn
3 本网站的文章部分内容来源于网络，仅供大家学习与参考，如有侵权，请联系站长 QQ进行删除处理。
4 本站资源仅供学习和交流使用，版权归原作者所有，请在下载后24小时之内自觉删除。
5 本站大部分下载资源收集于网络，不保证其完整性以及安全性，不提供技术支持，请下载后自行研究。
6 若作商业用途，请购买正版，由于未及时购买和付费发生的侵权行为，使用者自行承担，概与本站无关。
还没有评论，来说两句吧...