创建 Robots.txt 文件

robots.txt 文件主要用于指定您的网站的哪些部分应该被网络爬虫（用户代理）抓取——Google 提供了有关如何为您的网站创建、实施和测试此文件的非常详细的说明。

该文件本身可以为不同的搜索引擎爬虫指定不同的规则，有点像你为 Google 制作的说明书。可以理解的是，这有一些相当重要的好处：

屏蔽非公开页面：有时，您不希望网站上的某些页面被编入索引。例如，您可能拥有网站的临时版本或内部流程文档。虽然这些页面确实需要存在，但您不希望随机用户访问它们，这时您可以使用 robots.txt 来屏蔽搜索引擎爬虫/机器人访问这些页面或目录。专业提示：您可能希望在每个您不希望搜索引擎索引的页面上添加 noindex 标签，因为有时网络爬虫不会听从您的命令。
最大化抓取预算：如果您很难将所有页面编入索引，则可能存在抓取预算问题。通过使用 robots.txt 阻止不重要的页面，Googlebot 可以将更多的抓取预算花在真正重要的页面上。
阻止资源被索引：使用元 robots 指令可以像 Robots.txt 一样（甚至更好）阻止页面被索引。但是，元 robots 指令不适用于多媒体资源，如 PDF 和图像。这就是 robots.txt 发挥作用的地方。

在网站上使用 robots.txt 文件也是网络标准。爬虫会在网站的主机/根目录（或主文件夹）中查找 robots.txt 文件。此文本文件始终命名为“robots.txt”。

警告：robot.txt 文件影响很大，一个错误就可教师数据库能导致意外取消索引。别担心，Google 的 Robots Testing 工具将帮助防止这种情况发生。

第 2 章：关键字研究清单

在 SEO 的三位一体（关键词优化、链接获取和内容营销）中，关键词研究是一个“付出即收获”的系统。作为 SEO 的基础要素，投入到关键词研究上的时间将帮助您根据硬数据战略性地优化您的网页。

下次您准备深入研究关键字时，请将此清单用作指南。您进行的关键字研究越多，您就会做得越好、越快。还要注意的是，通常情况下，一轮关键字研究是不够的，因为您应该根据关键字研究创建持续的内容营销工作。

如何解读搜索意图？毕竟，网站所有者并不是读心术大师（至少不是全职的）——但还是有希望的。

让我们以 Google 搜索“Facebook”为例。当有人在 Google 上搜索“Facebook”时，网站优化人员有责任了解搜索意图不是一头扎进 Facebook 的历史页面。人们只是想从 A 点（Google）到达 B 点（Facebook）。

但有时，当搜索意图没有通过闪高效的数据加密与安全保障烁的大箭头传达时，就不会出现“啊哈”的时刻。

这就是你需要深入挖掘的地方，首先要了解四个主要的搜索意图：

（图片来源）

页面优化应基于对搜索者需求的隐含理解。发现搜索意图的一个好方法是进行简单的 Google 搜索。自己尝试一下。

当你在 Google 中搜索“Facebook”时，第一页 BY 列表的结果并不令人惊讶。

排名第一的结果是 Facebook 主页的链接，您可以在主页上登录或注册，而信息结果（如 Facebook 的维基百科页面）则局限于第一页结果的底部。

因此，如果你的公司销售 Facebook 社交媒体管理，那么瞄准这个关键词就没有意义了，对吗？它太宽泛了，你可能永远不会有排名。

您的工作是确保网页的目的与您要优化的关键字（查询）的搜索意图一致。

例如，具有交易意图的关键字通常包含如下词语：

而信息搜索通常是基于问题的，可以包含如下词语：

值得分解您的内容策略和网站结构，以纳入每个意向阶段的用户，并力争在每个阶段都获得良好的排名。

就像没有坚固的地基就无法建造房屋一样，没有专注的关键字研究就无法成功开展 SEO 活动。全面的关键字研究是每个成功的 SEO 活动的基础。

但是如何找到正确的关键词呢？

作为 Google 指定的研究工具（使用 Google Ads 帐户也可免费使用），Google 关键字规划师拥有执行入门级关键字研究所需的基本数据：

话虽如此，免费工具并不总是能为您提供最有用和最准确的信息。最好用更高级的付费选项（如Ahrefs 的关键字资源管理器）来补充此类免费工具。您可以获得更多数据、不同指标，甚至可以跟踪您网站的关键字排名表现。