重复行删除工具 — 快速清理文本列表
粘贴任意行列表，此工具将删除所有重复项，仅保留唯一条目。选项允许您控制大小写敏感性、在比较前修剪首尾空白符，以及选择每组重复项保留第一条还是最后一条。
请在上方粘贴文本以删除重复行。
工作原理
重复行何时真正造成问题
重复行在诗歌中无伤大雅，但在结构化数据中会引发真实问题。在 CSV 文件中，重复行会悄无声息地虚增记录数、扭曲聚合结果，并在导入数据库时导致主键冲突。在服务器日志中，崩溃进程反复写入相同日志条目，可能在短短几分钟内耗尽磁盘空间。在配置文件中，重复键会被静默覆盖，或在某些解析器下直接引发解析错误。
代码仓库也常受意外行重复的困扰：依赖列表（requirements.txt、package.json）的复制粘贴错误、重复的 import 语句，或 .gitignore 中的重复条目。自动化 CI 检查通常能捕获这些问题，但在提交前快速粘贴并去重往往比调试流水线失败更省事。
空行值得特别关注。连续两个空行在技术上属于重复，但许多文本格式（Markdown、Python 源码、邮件正文）将双空行作为有意的分隔符。本工具的「修剪空白符」选项会将因误输入空格而看似空行的行进行规范化，但不会破坏有意留存的空行——最终结果取决于您的具体内容，请务必审查输出。
大小写敏感性：何时重要，何时无关紧要
默认情况下，本工具进行不区分大小写的比较，因此「Apple」、「apple」和「APPLE」均视为同一行，仅保留第一条。这一设置适用于人类可读的列表，如标签云、关键词列表、城市名和邮箱地址——您希望将同一事物的不同变体合并为一条。
对于代码，大小写敏感模式必不可少。Python 中的 import 'os' 和 'OS' 在技术上是不同的（尽管 'OS' 在大多数系统上运行时会失败），而变量名 'Result' 和 'result' 是不同的标识符。SQL 关键字按惯例不区分大小写，但在 Linux 文件系统上表名是大小写敏感的。在对代码片段、配置键或路径去重时，请务必启用大小写敏感模式。
一个实用的折中方案是运行工具两次：先不区分大小写，发现近似重复项以供审查；再区分大小写，进行权威去重。这种两遍扫描的方法能捕获拼写错误和大小写不一致问题，而单纯的自动去重可能会遗漏这些。
空行和空白符的处理方式
在大多数文本编辑器和复制粘贴操作中，尾随空格是不可见的，却会导致行比较不相等。「apple 」（两个尾随空格）和「apple」是不同的字符串，因此在未启用修剪的情况下，两者都会被保留——在输出中留下一个隐形的重复项。「修剪空白符」选项会在比较前去除每行的首尾空格，但不会修改输出行的内容（修剪后的文本写入结果）。
缩进代码或大纲列表中的前导空白是有意义的：修剪会破坏缩进层次结构。对于代码或结构化大纲，请禁用修剪并使用大小写敏感模式以保留精确的行内容。对于关键词、城市名或 URL 路径等纯文本列表，修剪几乎总是正确的选择。
「保留第一条与保留最后一条」的切换在列表条目附有位置相关元数据时最为重要。例如，在记录事件的日志中，越靠后的条目越代表最新状态——此时保留最后一条（每个键的最新记录）在语义上是正确的，而保留第一条则会留存过时数据。
常见问题
›工具会保留行顺序吗？
会。行不会被排序——仅删除重复项。保留行的相对顺序与输入顺序完全一致。
›什么算作重复行？
两行在应用所选选项（大小写折叠和/或空白符修剪）后完全相同，则视为重复。仅比较文本内容；行号和位置不在考虑范围内。
›空行会被删除吗？
空行仅在彼此重复时才会被删除。如果文本中有三个连续空行且启用了「保留第一条」，则只有第一个空行得以保留。如需删除所有空行，请使用带有「删除空行」选项的文本排序工具。
›「保留最后一条」有什么作用？
取消勾选「保留第一条」后，工具将保留每组重复项的最后一条而非第一条。结果仍按原文档顺序排列——仅保留的实例发生变化。
›可以用此工具对邮件列表去重吗？
可以。每行粘贴一个邮箱地址。使用不区分大小写模式（默认），因为邮箱地址按规范不区分大小写。对于复制粘贴的邮件数据，也建议启用修剪空白符。
›有行数限制吗？
没有强制限制。工具在浏览器内存中处理所有内容。实际上，现代浏览器处理数十万行也不会有明显卡顿。
›我的数据会离开浏览器吗？
不会。所有处理完全在您设备上的 JavaScript 中进行。不会有任何内容上传到服务器。
›如何按特定列对 CSV 去重？
本工具按整行处理。若要按单列去重，请先对该列进行排序或提取为单列列表，去重后再重新合并。对于大型数据集，建议使用 Python 的 pandas 或电子表格的 UNIQUE 函数等专用工具，精度更高。
相关工具
最后更新: