先给结论:自动导出遗漏分页时,完整性检查不能只看总条数。更可靠的做法是把“分页边界”当作核对单位,先保留原始导出,再对边界做抽样复核,最后才决定改写链接或退出任务。如果总条数对得上但边界错位,条数检查会给出假阳性;如果总条数对不上但边界可解释,反而可能是可修复的截断。
三种处理方式各有前提,不要同时启动。保留适用于导出文件仍可追溯、遗漏集中在少数页的情况;改写适用于分页参数可重建、链接规则明确的情况;退出适用于边界无法复现、每次导出结果都不一致的情况。
一个可操作的动作:先对最后一页单独导出一次,记录返回条数和首尾标识。如果最后一页条数明显少于其他页,说明可能是正常尾页;如果最后一页条数等于满页,则遗漏更可能发生在下一页边界,而不是数据本身缺失。
总数核对只能回答“少了没有”,回答不了“少在哪”。边界抽样要检查三个位置:第一页与第二页的衔接、中间某页与下一页的衔接、最后一页与倒数第二页的衔接。每个衔接处至少核对首条和末条的标识是否连续。
假设一个短例子:某次导出共 10 页,每页 20 条,总数显示 200 条,但第 5 页末条与第 6 页首条之间跳过了 3 个标识。此时总数正确,完整性仍然不合格。下一步不是改链接,而是回到第 5 页确认该页是否被截断,再决定补导还是重跑。
如果边界标识无法直接比较,可以退一步核对排序字段。前提是排序字段稳定且唯一;如果排序字段有重复值,边界比较会失效,这时应改用游标或时间戳作为辅助依据。
请求量归零、抓取量下降、导出文件变小,都不能单独说明遗漏已经解决。它们还有别的解释:目标页暂时不可达、分页参数被服务端忽略、导出范围被上游条件收窄。把这些现象当作唯一证据,容易把“没请求”误判成“没遗漏”。
更稳妥的证据组合是:边界标识连续、抽样页首尾可对应、重复导出两次结果一致。三者中缺少任何一个,都只能算部分验证。具体到某个自动换链软件,其分页导出入口、字段命名和校验方式可能不同,需要以实际界面和导出文件为准,不能套用其他工具的经验。
如果边界连续且两次导出一致,可以进入改写或补链环节;如果边界不连续但能定位到具体页,先补导该页再复核;如果连续两次导出边界都不一致,建议退出当前任务,重建分页规则后再跑。这个顺序的价值在于:它把“是否完整”拆成可复现的判断,而不是靠一次总数下结论。
记录时至少留下导出时间、分页方式、边界抽样结果和处理动作,方便下次遇到同类遗漏时直接对照,而不是重新猜一遍。