RSS 采集的正确姿势:从订阅到入库的完整链路
相比抓页面,RSS 的优势在于结构稳定、字段明确,站点主也乐于被订阅。但它并不等于「打开就能用」,落地到内容系统里有几个细节值得处理。
游标要落库
每次抓取都应记录本次处理到的位置:可以用文章发布时间,也可以用 guid。只靠「抓最新 N 条」会导致两种问题:抓取间隔内超过 N 条时漏采;失败重试时反复采到同一批。把最后处理的时间戳保存下来,下次从该时间点往后取,是最稳的做法。
正文与摘要分开处理
很多 RSS 只给摘要,甚至只给一段引导语。此时不要硬把摘要当正文入库,更好的做法是标记为「需补全」,再由正文抓取环节去读取原页面。这样内容质量可控,也方便后续判断是否需要改写。
处理编码与相对链接
部分源使用 GBK 编码,或者正文里的图片链接是相对路径。入库前统一转成 UTF-8,并把图片补成绝对地址,否则后续图片本地化会大面积失败。
频率与礼貌
订阅源的更新频率通常低于每小时一次,没有必要高频轮询。设置合理的间隔、带上明确的 User-Agent,是长期稳定采集的前提。