智联海采集任务的并发与超时参数怎么配
并发不是越高越好
采集并发过高容易触发对方限流甚至封禁，过低则任务积压。建议先按目标站点的响应能力设定保守并发，观察一段时间的失败率与响应时间，再逐步上调。对同一站点的请求应统一排队，避免多个任务同时打满。
- 并发：按站点分组，单站点设上限
- 间隔：请求之间保留固定间隔，削平峰值
- 优先级：时效性高的栏目优先入队
超时与重试
超时时间按正常响应时间的若干倍设定，超过即判定失败并进入重试队列。重试采用退避策略，失败次数越多间隔越长，连续失败达到阈值后暂停该任务并告警，由人工确认是网络问题还是页面结构变化。
运行观察指标
- 成功率与平均响应时间按天记录
- 队列积压量与最长等待时间
- 告警次数与人工介入原因分类
