在线文本去重

粘贴名单、关键词或编号,按行或按分隔符去掉重复内容,保留首次出现的顺序。

本地去重输入内容不会上传
输入文本每行一条,或按逗号、空白分隔
三种方式分别对应:换行、逗号顿号分号、空格与制表符。切换后结果立即重算。
重复项固定保留首次出现的那条,不会改成保留末次。
原始条数
10
拆分后、去掉空白项
去重后
6
保留首次出现的顺序
删除重复
4
原始条数 − 去重后
重复率
40.0%
删除重复 ÷ 原始条数

重复内容排行

每条内容按出现次数排序,最多显示 8 条;下方是次数分布,看重复有多集中。

苹果出现 3 次
橙子出现 2 次
香蕉出现 2 次
柠檬出现 1 次
葡萄出现 1 次
西瓜出现 1 次
1 条出现 3 次
2 条出现 2 次
3 条出现 1 次

拆分方式与选项口径

先确认“什么算一条”,再看去重结果,数字才有意义。

拆分方式怎么拆适用内容示例
按行每个换行算一条名单、订单号、地址一行一条苹果 / 香蕉 / 苹果 → 2 条
逗号顿号逗号、顿号、分号与换行都算分隔中文关键词、标签串苹果,香蕉,苹果 → 2 条
按空白空格、制表符与换行都算分隔英文单词、编号串apple banana apple → 2 条
选项默认作用使用提示
去首尾空格开每条两端空白先去掉再比较“ 苹果”和“苹果”会算同一条
忽略大小写关Apple 与 apple 合并,输出保留首次写法只影响比较,不改变输出的大小写
按字母排序关去重后按字符顺序重新排列中文按拼音序,编号按自然数序
保留首次出现固定重复项只留首次出现的那条需要保留末次时,请先反转文本再对比

常见问题

去重口径都在这几条里。

中文按词去重为什么需要分隔符?
中文句子没有空格分词,工具无法自动判断“一个词”到哪里结束。按行或按逗号、顿号拆开,等于由你决定什么算一条,去重结果才可控。
空行算不算一条?
不算。每一条会先去掉首尾空白,去掉后为空的内容(空行、连续逗号之间的空位)不计入原始条数,也不会出现在结果里。
去重会打乱原来的顺序吗?
默认不会。重复项只保留首次出现的那条,结果顺序与原文一致;只有勾选“按字母排序”才会重排。
大小写不同算重复吗?
默认算两条。勾选“忽略大小写”后,Apple 与 apple 会合并成一条,输出保留首次出现的写法。
几万行的长文本会不会卡?
不会上传也不会请求服务器,全部在浏览器本地完成。几万行通常可以处理,但粘贴前建议先清掉无用空行,结果更好读。

图示与相关工具