火车头采集器对接自建站的接口设计要点
火车头(Locoy)是国内站长最常用的采集工具之一,它的发布模块本质上就是向你站点的某个 URL 发一次 POST。很多站点在这个环节出问题,原因往往不是采集规则写错,而是接口设计得太随意。
一、先确定鉴权方式
发布接口通常要放在公网可访问的位置,如果直接裸露,任何人拿到地址都能往里灌数据。推荐做法是给每个采集源单独签发一个令牌,通过请求头传递,服务端比对后再入库。令牌与来源绑定,停用某个来源时只需禁用该源。
二、幂等是必须的
采集任务重跑非常正常:网络抖动、规则调整、手动补采都会导致同一篇内容被推送多次。如果没有幂等控制,站点很快会被重复文章淹没。常见做法是对「标题 + 正文纯文本」做规范化后取哈希,写入唯一索引,重复请求直接返回「跳过」。
三、字段白名单与校验
发布接口只接受标题、正文、摘要、作者、分类、标签、来源地址这几个字段,其他字段一律丢弃。这样既避免了脏数据污染表结构,也能防止有人通过构造字段篡改权限相关的列。
四、一定要有回执
接口必须返回明确结果:成功几条、跳过几条、失败几条,以及每条对应的文章 ID 或失败原因。火车头会把回执显示在日志里,运维据此判断本次采集是否正常。静默成功是最容易掩盖问题的设计。
把发布接口当成对外开放的 API 来设计,后续加限流、加审计、加多租户都会自然很多。