AI 爬虫遇到 robots 限制的解决方法讨论

针对利用 AI 采集近 1000 个新闻网站时因 robots 协议限制导致 AI 拒绝爬取或拒绝编写脚本的问题，开发者探讨了多种解决方案。建议包括改用 GLM 等不会拒绝此类请求的模型、通过系统提示词破限，或者优先采用 RSS 订阅方式绕过限制，此外还可以通过 hook 让 robots.txt 从检索结果中消失。