先把概念说准
专业解释
robots.txt 控制抓取；noindex 请求不建立索引，爬虫通常必须能够访问页面才能读到指令。私密资料应使用访问控制，而不是把索引指令当安全锁。
用大白话记住它
一个便于记忆的比喻
让人不进门，他就看不到门里的‘请别拍照’告示。
比喻帮助理解，不替代上面的定义和下面的适用边界。
放回熟悉的业务里
本地预览不希望出现在搜索中，可保留 noindex；正式课程页需要确认生产设置。私人学习记录不能仅靠 robots 隐藏。
容易误解的地方
提交 sitemap 不保证索引；同时禁抓和 noindex 不是可靠的双保险。
带回自己的项目想一想
为一页写清：公众能否访问、爬虫能否抓取、是否希望索引？三项是否相互冲突？
先形成自己的判断，不必为这道思考题注册工具或提交私人资料。
接着看什么
同一阶段的知识点
- 域名、DNS 与托管：分别负责什么
- 可读取正文：SSR、静态页与 JavaScript
- Title、H1 与描述：说同一件事
- Canonical、重定向与 404
- Sitemap 与内链：帮人和爬虫发现页面
- 结构化数据：说明内容，不创造资格
整理依据与阅读边界
- Google 搜索入门指南
技术与搜索政策以官方文档为准；经验指标不等于 Google 规则。
- 本站已有学习内容
连接原有词条、微课、询盘路线和 SEO 自学页，不另造一套空目录。