重複行刪除工具 — 快速清理文字清單
貼上任意行清單，此工具將刪除所有重複項目，僅保留唯一條目。選項讓您控制大小寫敏感性、在比較前修剪首尾空白字元，以及選擇每組重複項目保留第一筆還是最後一筆。
請在上方貼上文字以刪除重複行。
運作原理
重複行何時真正造成問題
重複行在詩歌中無傷大雅，但在結構化資料中會引發實際問題。在 CSV 檔案中，重複列會悄無聲息地虛增記錄數、扭曲彙總結果，並在匯入資料庫時造成主鍵衝突。在伺服器記錄檔中，崩潰程序反覆寫入相同記錄條目，可能在短短幾分鐘內耗盡磁碟空間。在設定檔中，重複鍵會被靜默覆蓋，或在某些解析器下直接引發解析錯誤。
程式碼儲存庫也常受意外行重複的困擾：依賴清單（requirements.txt、package.json）的複製貼上錯誤、重複的 import 陳述式，或 .gitignore 中的重複條目。自動化 CI 檢查通常能偵測這些問題，但在提交前快速貼上並去重往往比除錯流水線失敗更省事。
空行值得特別關注。連續兩個空行在技術上屬於重複，但許多文字格式（Markdown、Python 原始碼、郵件正文）將雙空行作為有意的分隔符號。本工具的「修剪空白字元」選項會將因誤輸入空格而看似空行的行進行規範化，但不會破壞有意保留的空行——最終結果取決於您的具體內容，請務必審視輸出。
大小寫敏感性：何時重要，何時無關緊要
預設情況下，本工具進行不區分大小寫的比較，因此「Apple」、「apple」和「APPLE」均視為同一行，僅保留第一筆。這一設定適用於人類可讀的清單，如標籤雲、關鍵字清單、城市名稱和電子郵件地址——您希望將同一事物的不同變體合併為一筆。
對於程式碼，區分大小寫模式必不可少。Python 中的 import 'os' 和 'OS' 在技術上是不同的（儘管 'OS' 在大多數系統上執行時會失敗），而變數名稱 'Result' 和 'result' 是不同的識別碼。SQL 關鍵字按慣例不區分大小寫，但在 Linux 檔案系統上資料表名稱區分大小寫。在對程式碼片段、設定鍵或路徑去重時，請務必啟用區分大小寫模式。
一個實用的折衷方案是執行工具兩次：先不區分大小寫，找出近似重複項以供審查；再區分大小寫，進行權威去重。這種兩遍掃描的方法能捕捉拼寫錯誤和大小寫不一致問題，而單純的自動去重可能會遺漏這些。
空行和空白字元的處理方式
在大多數文字編輯器和複製貼上操作中，尾隨空格是不可見的，卻會導致行比較不相等。「apple 」（兩個尾隨空格）和「apple」是不同的字串，因此在未啟用修剪的情況下，兩者都會被保留——在輸出中留下一個隱形的重複項。「修剪空白字元」選項會在比較前去除每行的首尾空格，但不會修改輸出行的內容（修剪後的文字寫入結果）。
縮排程式碼或大綱清單中的前導空白是有意義的：修剪會破壞縮排層次結構。對於程式碼或結構化大綱，請停用修剪並使用區分大小寫模式以保留精確的行內容。對於關鍵字、城市名稱或 URL 路徑等純文字清單，修剪幾乎總是正確的選擇。
「保留第一筆與保留最後一筆」的切換在清單條目附有位置相關中繼資料時最為重要。例如，在記錄事件的記錄檔中，越靠後的條目越代表最新狀態——此時保留最後一筆（每個鍵的最新記錄）在語意上是正確的，而保留第一筆則會留存過時資料。
常見問題
›工具會保留行順序嗎？
會。行不會被排序——僅刪除重複項。保留行的相對順序與輸入順序完全一致。
›什麼算作重複行？
兩行在套用所選選項（大小寫折疊和/或空白字元修剪）後完全相同，則視為重複。僅比較文字內容；行號和位置不在考慮範圍內。
›空行會被刪除嗎？
空行僅在彼此重複時才會被刪除。如果文字中有三個連續空行且啟用了「保留第一筆」，則只有第一個空行得以保留。如需刪除所有空行，請使用帶有「刪除空行」選項的文字排序工具。
›「保留最後一筆」有什麼作用？
取消勾選「保留第一筆」後，工具將保留每組重複項的最後一筆而非第一筆。結果仍按原文件順序排列——僅保留的實例發生變化。
›可以用此工具對郵件清單去重嗎？
可以。每行貼上一個電子郵件地址。使用不區分大小寫模式（預設），因為電子郵件地址按規範不區分大小寫。對於複製貼上的電子郵件資料，也建議啟用修剪空白字元。
›有行數限制嗎？
沒有強制限制。工具在瀏覽器記憶體中處理所有內容。實際上，現代瀏覽器處理數十萬行也不會有明顯延遲。
›我的資料會離開瀏覽器嗎？
不會。所有處理完全在您裝置上的 JavaScript 中進行。不會有任何內容上傳至伺服器。
›如何按特定欄對 CSV 去重？
本工具按整行處理。若要按單一欄去重，請先對該欄進行排序或提取為單欄清單，去重後再重新合併。對於大型資料集，建議使用 Python 的 pandas 或試算表的 UNIQUE 函數等專用工具，精確度更高。
相關工具
最後更新: