正则与文本处理指南
文本行去重与排序:先定义相等和排序规则
先约定大小写、空格和前导零是否有意义,再去重排序,避免隐式改写。
定义相同行
精确文本相等把 Ada、ada 和末尾多空格的 Ada 当作不同值,trim 或折叠大小写会改变规则。
字节或区分大小写的 ID 需要精确去重,只有接收方约定需要时才进行归一化。
Ada
ada
Ada
Exact deduplication preserves: Ada, ada选择文本或数字排序
字典顺序与数字顺序不同,文本中 10 在 2 前,数字排序则相反。
带前导零的 ID 即使全是数字也可能应按文本处理,不能仅为排序把不透明标识符转为数值。
Text order: 1, 10, 2
Numeric order: 1, 2, 10顺序可能携带信息
排序会丢失原始顺序,该顺序可能是日志时间、排名或用户偏好;去重也可能删除重复事件。
成员清单可以按第一次出现保序去重,事件流则应保留重复并检查出现次数。
核对处理结果
记录输入输出行数,检查空行和一组重复值,再用文本对比确认只有预期变化。
本站不同选项行为不同,应明确选择,输出更短不代表数据更好或更准确。