wordpress网站的robots文件如何让蜘蛛友好快速爬取？

网站安装好WordPress程序后，wordpress会网站根目录自动为我们的网站创建一个robots.txt文件，蜘蛛爬取网站首先爬取的就是robots.txt文件，这个文件可以说非常重要，设置不好会影响网站的收录，如何设置下面会具体说一下。

我们可以看到，wordpress程序只是为网站的robots.txt文件添加了3句简单的代码：

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

从上面的代码中，wordpress不允许搜索引擎蜘蛛爬取/wp-admin/目录，但允许蜘蛛爬取/wp-admin/admin-ajax.php文件。

总结WordPress全部robots.txt配置

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /feed

Disallow: /articles/*/feed

注意事项：

避免收录WordPress系统文件

避免收录重复的内容

正确引导搜索引擎找到网址地图

以上仅供参考