♻️
去除重复行
删除文本中的重复行，可忽略大小写与首尾空格，并统计去重数量。
本地处理 · 不上传
加载工具中…
相关：去重 · 重复 · duplicate · 行 · 列表
去除重复行把多行文本中的重复内容合并为一条，支持忽略大小写、忽略首尾空格与保留首次或末次出现。整理名单、日志与导入数据时最常用。
使用步骤
- 粘贴多行文本
- 按需勾选忽略大小写或空格
- 选择保留首次还是末次出现
- 查看去重结果与被删除的条数
使用场景
- 合并多份名单时去掉重复项
- 清洗待导入的数据
- 统计一份日志里有多少不同的条目
- 整理标签或关键词列表
小贴士
- 肉眼看着相同的两行可能因尾部空格或全半角差异被判为不同，去重前建议先勾选忽略空格。
- 保留首次与保留末次的区别，在于同一条目的哪个上下文位置被保留，处理带时间戳的日志时会影响结果。
- 去重会打乱原有的重复分布信息，若需要统计出现次数，应先做词频统计再去重。
常见问题
为什么看起来一样的行没被去掉？
多半是不可见字符差异——尾部空格、制表符，或者中英文标点、全角半角不同。勾选忽略首尾空格通常能解决大部分情况。
能只保留重复出现过的行吗？
这与去重相反，属于筛选重复项。可先用词频统计找出出现次数大于一的条目，再做处理。
去重会排序吗？
不会。默认保持原有顺序，只删除重复出现的行。需要排序请配合文本行排序工具使用。
去除重复行是免费的吗？
是。本站所有工具完全免费，无需注册登录、无广告干扰，打开即用。
使用去除重复行，我的数据安全吗？
安全。该工具在你的浏览器本地完成处理，输入内容不会上传到服务器，隐私更有保障。