robots.txt写法详解：从基础语法到高级配置的完整指南

📍 WDQWDWQD987AAAAA:216.73.217.131
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /4e22de4da159.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的重要文件，正确的 robots.txt 写法能帮助站点精准控制抓取范围，避免敏感页面被索引。本文将系统讲解 robots.txt 的写法，从基础语法到高级配置，帮助站长快速上手。

一、robots.txt 基础语法

robots.txt 采用纯文本格式，核心指令包括 User-agent、Disallow、Allow 和 Sitemap。每个指令独占一行，格式为“指令: 值”。

• User-agent：指定规则适用的爬虫，* 代表所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，常用于覆盖 Disallow 规则。
• Sitemap：声明网站地图地址，便于爬虫发现内容。

二、robots.txt 标准写法示例

以下是一个常见的 robots.txt 写法示例：

• User-agent: *
• Disallow: /admin/
• Disallow: /tmp/
• Allow: /public/
• Sitemap: https://www.example.com/sitemap.xml

该写法禁止所有爬虫抓取 /admin/ 和 /tmp/ 目录，同时允许抓取 /public/，并声明了网站地图位置。

三、高级配置与注意事项

在掌握基础后，可针对不同爬虫设置独立规则。例如，为 Googlebot 单独配置：

• User-agent: Googlebot
• Disallow: /no-google/

需注意，robots.txt 区分大小写，路径应使用绝对路径；Allow 与 Disallow 冲突时，爬虫通常遵循更具体的规则。此外，robots.txt 不能阻止页面被索引，若需彻底屏蔽，应配合 noindex 标签使用。

四、常见错误与验证方法

常见错误包括指令拼写错误、路径缺少斜杠、未声明 Sitemap 等。建议使用搜索引擎官方工具验证 robots.txt 写法是否正确，例如 Google Search Console 的 robots.txt 测试工具。定期检查文件可避免误屏蔽重要页面。

掌握 robots.txt 写法是 SEO 基础技能，合理配置能提升抓取效率，保护网站隐私。建议站长根据业务需求灵活调整规则，并持续关注爬虫行为变化。