正则与文本处理指南

文本行去重与排序:先定义相等和排序规则

先约定大小写、空格和前导零是否有意义,再去重排序,避免隐式改写。

Nav Tools ·

定义相同行

精确文本相等把 Ada、ada 和末尾多空格的 Ada 当作不同值,trim 或折叠大小写会改变规则。

字节或区分大小写的 ID 需要精确去重,只有接收方约定需要时才进行归一化。

Ada
ada
Ada
Exact deduplication preserves: Ada, ada

选择文本或数字排序

字典顺序与数字顺序不同,文本中 10 在 2 前,数字排序则相反。

带前导零的 ID 即使全是数字也可能应按文本处理,不能仅为排序把不透明标识符转为数值。

Text order:    1, 10, 2
Numeric order: 1, 2, 10

顺序可能携带信息

排序会丢失原始顺序,该顺序可能是日志时间、排名或用户偏好;去重也可能删除重复事件。

成员清单可以按第一次出现保序去重,事件流则应保留重复并检查出现次数。

核对处理结果

记录输入输出行数,检查空行和一组重复值,再用文本对比确认只有预期变化。

本站不同选项行为不同,应明确选择,输出更短不代表数据更好或更准确。

参考资料

← 正则与文本处理指南