最近，我们的一位读者向我们询问了有关如何 优化robots. txt文件以改进 SEO的提示。 Robots. txt文件告诉搜索引擎如何抓取您的网站，这使其成为一个非常强大的 SEO工具。在本文中，我们将向您展示如何为 SEO创建完美的robots. txt文件。
什么是robots.txt文件？
Robots.txt是一个文本文件，网站所有者可以创建该文件来告诉搜索引擎机器人如何在其网站上抓取和索引页面。
它通常存储在根目录中，也称为您网站的主文件夹。robots.txt文件的基本格式如下所示：
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
您可以使用多行说明来允许或禁止特定网址并添加多个站点地图。如果您不禁止URL，则搜索引擎机器人会假定他们可以抓取它。
以下是robots. txt示例文件的外观：
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
在上面的robots. txt示例中，我们允许搜索引擎在我们的 WordPress上传文件夹中抓取和索引文件。
之后，我们禁止搜索机器人抓取插件和索引插件以及 WordPress管理员文件夹。
最后，我们提供了 XML站点地图的URL。
你需要一个针对你的 WordPress网站的 Robots. txt文件吗？
如果你没有robots. txt文件，那么搜索引擎仍然会抓取你的网站并将其编入索引。但是，您将无法告诉搜索引擎他们不应抓取哪些页面或文件夹。
当您第一次创建博客并且没有大量内容时，这不会产生太大影响。
但是，随着您的网站不断发展并且您拥有大量内容，您可能希望更好地控制网站的抓取和编制方式。
这就是原因。
搜索机器人每个网站都有一个抓取配额。
这意味着他们在爬网会话期间抓取一定数量的页面。如果他们没有完成对您网站上所有网页的抓取，那么他们会在下一个会话中返回并继续抓取。
这可能会降低您的网站索引速度。
您可以通过禁止搜索机器人尝试抓取不必要的网页（如WordPress管理页面，插件文件和主题文件夹）来解决此问题。
通过禁止不必要的页面，您可以保存爬网配额。这有助于搜索引擎抓取您网站上的更多网页，并尽快为其编制索引。
使用robots.txt文件的另一个好理由是，您希望阻止搜索引擎索引您网站上的帖子或页面。
这不是向公众隐藏内容的最安全方式，但它可以帮助您防止它们出现在搜索结果中。
理想的 Robots.txt文件应该是什么样的？
许多流行的博客使用非常简单的robots.txt文件。它们的内容可能会有所不同，具体取决于特定网站的需求：
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
此robots. txt文件允许所有机器人为所有内容编制索引，并为其提供指向网站 XML站点地图的链接。
WordPress网站，我们建议在robots. txt文件中使用以下规则：
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
这告诉搜索机器人索引所有 WordPress图像和文件。它不允许搜索机器人索引 WordPress插件文件， WordPress管理区域，WordPress自述文件和联盟链接。
通过将站点地图添加到robots. txt文件，您可以轻松地让Google机器人找到所有页面在您的网站上。
现在你已经了解了一个理想的robots. txt文件，让我们来看看你如何在WordPress中创建一个robots. txt文件。
如何在WordPress中创建 Robots.txt文件？
有两种方法可以在WordPress中创建robots.txt文件。您可以选择最适合您的方法。
方法1：使用Yoast SEO编辑 Robots.txt文件
如果您使用的是Yoast SEO插件，那么它会附带一个robots.txt文件生成器。
您可以使用它直接从WordPress管理区域创建和编辑robots.txt文件。
只需转到 SEO»工具页面在您的WordPress管理员中，然后单击文件编辑器链接。
在下一页，Yoast SEO页面将显示您现有的robots.txt文件。
如果你没有robots.txt文件，那么Yoast SEO会为你生成一个robots.txt文件。
默认情况下，Yoast SEO的robots.txt文件生成器会将以下规则添加到您的robots.txt文件中：
User-agent: * Disallow: /
它是%您删除此文本是因为它阻止所有搜索引擎抓取您的网站。
删除默认文本后，您可以继续添加自己的robots. txt规则。我们建议使用上面分享的理想robots. txt格式。
完成后，请不要忘记点击“保存robots. txt文件”按钮来存储您的更改。
方法2.手动编辑 Robots.txt文件使用FTP
对于此方法，您需要使用FTP客户端编辑robots.txt文件。
只需使用FTP客户端连接到您的 WordPress主机帐户即可。
一旦进入，您将能够在网站的根文件夹中看到robots.txt文件。
如果您没有看到，那么您可能没有robots.txt文件。在这种情况下，您可以继续创建一个。
Robots.txt是一个纯文本文件，这意味着您可以将其下载到您的计算机并使用任何纯文本编辑器（如Notepad或TextEdit）进行编辑。
保存更改后，您可以将其上传回网站的根文件夹。
如何测试你的 Robots.txt文件？
一旦你创建了你的robots.txt文件，使用robots.txt测试工具测试它总是一个好主意。
有很多robots.txt测试工具，但我们建议使用Google Search Console中的工具。
只需登录您的Google Search Console帐户，然后切换到旧的Google搜索控制台网站。
这会将您带到旧的Google Search Console界面。在这里，您需要启动位于“抓取”菜单下的robots.txt测试工具。
该工具将自动获取您网站的robots.txt文件，并在发现错误和警告时突出显示错误和警告。
最终想法
优化robots.txt文件的目的是防止搜索引擎抓取不公开的网页。例如，wp-plugins文件夹中的页面或 WordPress管理文件夹中的页面。
SEO专家的一个常见神话是，阻止 WordPress类别，标签和存档页面将提高抓取速度并导致更快的索引和更高的排名。
这不是真的。这也违反了Google的网站管理员指南。
我们建议您按照上述robots.txt格式为您的网站创建robots.txt文件。
我们希望这篇文章能帮助您学习如何针对 SEO 优化您的WordPress robots.txt文件。您可能还希望看到我们的终极WordPress SEO指南和最好的WordPress SEO工具来发展您的网站。