文本去重

按行删除重复内容,保留首次出现的顺序

这个工具能做什么

  • 按行去重
  • 保留首次顺序
  • 可选忽略空白/大小写
  • 行数统计
  • 本地处理

示例

  • 输入:a b a c
  • 输出:a b c

适用 / 不适用

  • 适用:邮件/手机号名单去重
  • 适用:日志行去重并保持原顺序
  • 适用:隐私名单不愿上传网盘工具
  • 不适用:按字段/列去重(需先拆分)
  • 不适用:模糊近似去重(编辑距离)
  • 不适用:超大文件超出浏览器内存

技术与隐私说明(可验证)

  • 算法:顺序扫描,用集合记录已见行,首次出现保留。
  • 比较单位:整行字符串;可选先 trim 或大小写折叠再比较。
  • 隐私:文本留在浏览器,不发送到服务器。
  • 数据:全程浏览器本地处理,不上传到 www.518882.com 服务器。

怎么用(步骤)

  1. 粘贴多行文本,工具自动按行去重。
  2. 需要时勾选「忽略首尾空格」或「忽略大小写」。
  3. 查看统计:原始行数、去重后行数、删除行数。
  4. 复制或下载结果;可用撤销恢复输入。

常见问题

去重会重新排序吗?

不会。默认保留首次出现的顺序。

整行完全相同才算重复吗?

是。按整行比较;要按列去重请先规范化字段。

会上传名单吗?

不会,全程本地处理。

空行怎么处理?

空行也参与比较;连续空行会去重为首次空行,可先用「去空行」工具。

和排序后再 uniq 有何不同?

排序会打乱顺序;本工具默认保序,更适合名单。