首页 » Wordpress教程 » WordPress如何优化Robots.txt文件

WordPress如何优化Robots.txt文件

WPJAM TOC

robots.txt是一个很小但很重要的文件,位于网站的根目录中。它告诉Web爬网程序(机器人)可以或不能爬网哪些页面或目录。 robots.txt文件可用于完全阻止搜索引擎搜寻器,或仅限制其对您网站某些区域的访问。

下面是一个非常基本的WordPress robots.txt文件的示例:

基本的WordPress robots.txt文件的示例

基本的WordPress robots.txt文件的示例

乍一看可能会有点乱,但理解了基本用法之后就会很好理解这几个字段是什么意思。

  • User-agent-用户代理:在那里可以指定指向特定机器人的方向。在这种情况下,我们使用适用于所有机器人的“ *”。
  • Disallow-不允许:可以告诉机器人它们不应该抓取哪些文件和文件夹。
  • Allow-允许:告诉机械手可以对不允许的文件夹中的文件进行爬网。
  • Sitemap-站点地图:用于指定网站站点地图的位置。

robots.txt文件中还可以使用其他规则,例如Host:和Crawl-delay :,但这些规则并不常见,仅在特定情况下使用。

更多robots.txt文件的介绍请参考:
什么是Robots.txt文件?Robots.txt文件应该怎样设置?

Robot.txt文件不能做哪些用途?

robots.txt不应用作控制搜索引擎索引哪些页面的方法。如果你试图阻止某些页面包含在搜索引擎结果中,则应使用noindex标记或指令,或使用密码保护你的页面。其原因是因为robots.txt文件实际上并未告诉搜索引擎不要为内容编制索引。它只是告诉他们不要爬行。尽管Google不会从你自己的网站内抓取禁止区域,但它们确实指出,如果外部链接指向你已排除的页面,则该页面仍可能被抓取并建立索引。

WordPress是否需要Robots.txt文件?

如果没有特殊要求是不需要为WordPress网站创建robots.txt文件的,搜索引擎仍会像往常一样爬行并为你的网站建立索引。但是,你将无法排除不必要地消耗抓取预算的任何页面,文件或文件夹。如前所述,这可以大大增加Google(和其他搜索引擎)在你的网站上发现新内容和更新内容所花费的时间。

创建Robots.txt文件

既然知道了robots.txt是什么以及它的用途,我们将看看如何创建一个robots.txt。有三种不同的方法,下面我将逐一介绍。

使用WordPress插件创建Robots.txt

像Yoast这样的SEO插件可以选择从WordPress仪表板内部创建和编辑robots.txt文件。这可能是最简单的选择。

使用插件创建Robots.txt

使用插件创建Robots.txt

使用FTP上传Robots.txt

另一个选择是仅使用记事本(或类似工具)在计算机上创建.txt文件,并将其命名为robots.txt。然后,您可以使用FTP(文件传输协议)(例如FileZilla)将文件上传到网站的根目录。

使用FTP上传Robots.txt

使用FTP上传Robots.txt

针对WordPress优化Robots.txt

一个常用的robots.txt文件示例

User-agent: *

Disallow: /wp-admin/

Disallow: /refer/

Disallow: /spammy-page/

Disallow: /duplicate-content-page/

Disallow: /low-quality-page/

Disallow: /?s=

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

包含在此文件中的某些内容仅是示例。如果你不觉得自己的任何页面重复,垃圾邮件或质量低劣,则不必添加此部分。这只是一个示例,每个网站的情况都会有所不同。更改网站robots.txt时请务必小心。尽管这些更改可以改善你的搜索流量,但是如果没有设置正确的规则,它们带来的弊大于利。

测试robots.txt文件

创建并自定义robots.txt之后,建议登录站长平台来测试以下robots规则是否有错误。登录到你的网站站长帐户,然后使用robots测试工具。该工具的运行方式与搜索引擎机器人一样,将检查你的robots.txt文件并验证网址是否已被正确阻止。

使用站长平台来检测robots.txt文件是否有错误

使用站长平台来检测robots.txt文件是否有错误

robots.txt是网站搜索引擎优化的重要组成部分。如果使用得当,它可以加快抓取速度,并使索引新内容和更新内容的速度更快。不过,滥用此文件可能会严重损害你的搜索引擎排名,因此在进行任何更改时请务必小心。

Aini99

Yahoooooooo!

相关推荐

微信扫一扫,分享到朋友圈

WordPress如何优化Robots.txt文件
返回顶部

显示

忘记密码?

显示

显示

获取验证码

Close