Robots.txt
你可能会问：Robots.txt 在我的项目里到底管哪件事，什么时候该用？
放在网站根目录、向守规矩的爬虫说明哪些路径可抓取的公开文本规则。
给搜索爬虫一张通行说明，但它不是保险柜的门锁。
像展馆导览牌写着哪些区域不开放，真正的机密仓库仍要上锁。
外贸独立站里，允许公开产品与术语抓取，阻止无价值筛选组合；同时给出站点地图位置并检查规则范围。先把这件事的输入、责任边界和可验证结果说清，再让 AI 或协作者继续实现。
Robots.txt 在项目中负责什么
- 什么时候用
- 当项目出现这类真实任务时：允许公开产品与术语抓取，阻止无价值筛选组合；同时给出站点地图位置并检查规则范围。
- 它解决什么
- 它让团队围绕“Allow / Disallow 路径规则”形成一致做法，并能用“站点地图与实际抓取验证”确认结果。
- 它不负责什么
- Robots.txt 不能保护敏感资料，错误的 Disallow 还可能挡住重要页面资源和搜索发现。
- 放进真实项目
- 允许公开产品与术语抓取，阻止无价值筛选组合；同时给出站点地图位置并检查规则范围。
Robots.txt：User-agent 范围 → Allow / Disallow 路径规则 → 站点地图与实际抓取验证
允许公开产品与术语抓取，阻止无价值筛选组合；同时给出站点地图位置并检查规则范围。
- 01
把场景里的“User-agent 范围”单独列出，记录真实对象、输入来源和当前状态。
- 02
围绕“Allow / Disallow 路径规则”定义 Robots.txt 在本项目中的规则、负责人和异常分支。
- 03
用“站点地图与实际抓取验证”验收业务结果；证据不成立时回到上一环节修正，而不是用解释掩盖。
Robots.txt：User-agent 范围 → Allow / Disallow 路径规则 → 站点地图与实际抓取验证
当项目出现这类真实任务时：允许公开产品与术语抓取，阻止无价值筛选组合；同时给出站点地图位置并检查规则范围。
Robots.txt 要同时看见：User-agent 范围、Allow / Disallow 路径规则、站点地图与实际抓取验证。
外贸独立站里，允许公开产品与术语抓取，阻止无价值筛选组合；同时给出站点地图位置并检查规则范围。先把这件事的输入、责任边界和可验证结果说清，再让 AI 或协作者继续实现。
不同词条会用路线、层级、状态、对照或清单来呈现；点击每一步，检查它在真实工作中的责任位置。
Robots.txt 要同时看见：User-agent 范围、Allow / Disallow 路径规则、站点地图与实际抓取验证。
容易混淆的地方
Robots.txt 不能保护敏感资料，错误的 Disallow 还可能挡住重要页面资源和搜索发现。
在“允许公开产品与术语抓取，阻止无价值筛选组合；同时给出站点地图位置并检查规则范围”这个场景里，怎样才算真正用对 Robots.txt？
你可以这样告诉 AI Agent
我正在处理：允许公开产品与术语抓取，阻止无价值筛选组合；同时给出站点地图位置并检查规则范围。 请按 Robots.txt 的专业机制拆解“User-agent 范围、Allow / Disallow 路径规则、站点地图与实际抓取验证”，分别列出当前证据、待确认项、执行动作和验收方法；不要补写未提供的业务事实。
内容依据与延伸
本站用原创中文解释把专业概念映射到外贸独立站；定义和机制继续以官方资料为准，业务例子再回到 外贸独立站询盘优化实战 验证。
本站整理说明：原创整理：Vibe Hub 公开知识范围、官方技术资料与外贸独立站实践