在线文本去重
粘贴名单、关键词或编号,按行或按分隔符去掉重复内容,保留首次出现的顺序。
本地去重输入内容不会上传
输入文本每行一条,或按逗号、空白分隔
三种方式分别对应:换行、逗号顿号分号、空格与制表符。切换后结果立即重算。
重复项固定保留首次出现的那条,不会改成保留末次。
原始条数
10
拆分后、去掉空白项
去重后
6
保留首次出现的顺序
删除重复
4
原始条数 − 去重后
重复率
40.0%
删除重复 ÷ 原始条数
重复内容排行
每条内容按出现次数排序,最多显示 8 条;下方是次数分布,看重复有多集中。
苹果出现 3 次
橙子出现 2 次
香蕉出现 2 次
柠檬出现 1 次
葡萄出现 1 次
西瓜出现 1 次
1 条出现 3 次
2 条出现 2 次
3 条出现 1 次
拆分方式与选项口径
先确认“什么算一条”,再看去重结果,数字才有意义。
| 拆分方式 | 怎么拆 | 适用内容 | 示例 |
|---|---|---|---|
| 按行 | 每个换行算一条 | 名单、订单号、地址一行一条 | 苹果 / 香蕉 / 苹果 → 2 条 |
| 逗号顿号 | 逗号、顿号、分号与换行都算分隔 | 中文关键词、标签串 | 苹果,香蕉,苹果 → 2 条 |
| 按空白 | 空格、制表符与换行都算分隔 | 英文单词、编号串 | apple banana apple → 2 条 |
| 选项 | 默认 | 作用 | 使用提示 |
|---|---|---|---|
| 去首尾空格 | 开 | 每条两端空白先去掉再比较 | “ 苹果”和“苹果”会算同一条 |
| 忽略大小写 | 关 | Apple 与 apple 合并,输出保留首次写法 | 只影响比较,不改变输出的大小写 |
| 按字母排序 | 关 | 去重后按字符顺序重新排列 | 中文按拼音序,编号按自然数序 |
| 保留首次出现 | 固定 | 重复项只留首次出现的那条 | 需要保留末次时,请先反转文本再对比 |
常见问题
去重口径都在这几条里。
中文按词去重为什么需要分隔符?
中文句子没有空格分词,工具无法自动判断“一个词”到哪里结束。按行或按逗号、顿号拆开,等于由你决定什么算一条,去重结果才可控。
空行算不算一条?
不算。每一条会先去掉首尾空白,去掉后为空的内容(空行、连续逗号之间的空位)不计入原始条数,也不会出现在结果里。
去重会打乱原来的顺序吗?
默认不会。重复项只保留首次出现的那条,结果顺序与原文一致;只有勾选“按字母排序”才会重排。
大小写不同算重复吗?
默认算两条。勾选“忽略大小写”后,Apple 与 apple 会合并成一条,输出保留首次出现的写法。
几万行的长文本会不会卡?
不会上传也不会请求服务器,全部在浏览器本地完成。几万行通常可以处理,但粘贴前建议先清掉无用空行,结果更好读。