เครื่องมือลบบรรทัดซ้ำ —…

วางรายการบรรทัดใดก็ได้ แล้วเครื่องมือนี้จะลบรายการซ้ำทั้งหมดออก เหลือเฉพาะรายการที่ไม่ซ้ำกัน ตัวเลือกช่วยให้คุณควบคุมความไวต่อตัวพิมพ์ ตัดช่องว่างหน้าหลังก่อนเปรียบเทียบ และเลือกว่าจะเก็บรายการแรกหรือสุดท้ายของแต่ละกลุ่มที่ซ้ำกัน

ข้อความอินพุต — หนึ่งรายการต่อบรรทัด

เปรียบเทียบโดยคำนึงตัวพิมพ์ตัดช่องว่างก่อนเปรียบเทียบเก็บรายการแรก (ยกเลิกเลือกเพื่อเก็บรายการสุดท้าย)

วางข้อความด้านบนเพื่อลบบรรทัดซ้ำ

เครื่องมือที่เกี่ยวข้อง

วิธีการทำงาน

เมื่อบรรทัดซ้ำสร้างปัญหาจริงๆ

บรรทัดซ้ำนั้นไม่เป็นอันตรายในบทกวี แต่สร้างปัญหาจริงในข้อมูลที่มีโครงสร้าง ในไฟล์ CSV แถวที่ซ้ำกันจะเพิ่มจำนวนระเบียนอย่างเงียบๆ บิดเบือนการรวมค่า และอาจทำให้เกิดการละเมิด primary key เมื่อนำเข้าฐานข้อมูล ในไฟล์ log ของเซิร์ฟเวอร์ รายการ log ที่เหมือนกันซ้ำๆ จากกระบวนการที่ขัดข้องอาจเต็มดิสก์ภายในไม่กี่นาที ในไฟล์ configuration คีย์ที่ซ้ำกันจะถูกเขียนทับอย่างเงียบๆ หรือทำให้เกิดข้อผิดพลาดในการแยกวิเคราะห์ ขึ้นอยู่กับ parser

repository โค้ดก็ประสบปัญหาการซ้ำบรรทัดโดยไม่ตั้งใจเช่นกัน: ข้อผิดพลาดจากการคัดลอกวางในรายการ dependencies (requirements.txt, package.json), คำสั่ง import ที่ซ้ำ หรือรายการที่ซ้ำใน .gitignore การตรวจสอบ CI อัตโนมัติมักตรวจพบสิ่งเหล่านี้ แต่การวางและลบข้อมูลซ้ำก่อน commit นั้นเร็วกว่าการ debug ความล้มเหลวของ pipeline

บรรทัดว่างต้องการความสนใจเป็นพิเศษ บรรทัดว่างสองบรรทัดติดต่อกันถือเป็นบรรทัดซ้ำในเชิงเทคนิค แต่รูปแบบข้อความหลายรูปแบบ (Markdown, โค้ด Python, เนื้อหาอีเมล) ใช้บรรทัดว่างคู่เป็นตัวแบ่งโดยตั้งใจ ตัวเลือก 'ตัดช่องว่าง' ของเครื่องมือนี้จะปรับบรรทัดที่ดูว่างเปล่าเพราะช่องว่างที่หลงเหลือให้เป็นมาตรฐาน โดยไม่ทำลายบรรทัดว่างที่ตั้งใจไว้ — ผลลัพธ์ขึ้นอยู่กับเนื้อหาของคุณ ดังนั้นตรวจสอบผลลัพธ์ด้วย

ความไวต่อตัวพิมพ์: สำคัญเมื่อใดและไม่สำคัญเมื่อใด

โดยค่าเริ่มต้น เครื่องมือนี้เปรียบเทียบบรรทัดโดยไม่คำนึงถึงตัวพิมพ์ ดังนั้น 'Apple', 'apple', และ 'APPLE' ถือว่าเป็นบรรทัดเดียวกัน และเก็บไว้เพียงบรรทัดแรก นี่คือการตั้งค่าที่เหมาะสำหรับรายการที่มนุษย์อ่านได้ เช่น tag cloud, รายการคำสำคัญ, ชื่อเมือง และที่อยู่อีเมล ที่คุณต้องการรวมรูปแบบต่างๆ ของสิ่งเดียวกัน

โหมดที่คำนึงถึงตัวพิมพ์จำเป็นสำหรับโค้ด ใน Python import 'os' และ 'OS' ต่างกันในเชิงเทคนิค (แม้ 'OS' จะล้มเหลวขณะ runtime บนระบบส่วนใหญ่) และชื่อตัวแปร 'Result' และ 'result' คือตัวระบุที่ต่างกัน คีย์เวิร์ด SQL ไม่คำนึงถึงตัวพิมพ์โดยข้อตกลง แต่ชื่อตารางคำนึงถึงตัวพิมพ์บนระบบไฟล์ Linux เมื่อลบรายการซ้ำใน code snippet, configuration key หรือ path ควรเปิดใช้งานโหมดที่คำนึงถึงตัวพิมพ์เสมอ

วิธีประนีประนอมที่ใช้งานได้จริงคือรันเครื่องมือสองครั้ง: ครั้งหนึ่งโดยไม่คำนึงตัวพิมพ์เพื่อตรวจหารายการที่ใกล้เคียงกันสำหรับตรวจสอบ และอีกครั้งโดยคำนึงตัวพิมพ์สำหรับการลบรายการซ้ำที่เป็นทางการ วิธีสองขั้นตอนนี้จะจับข้อผิดพลาดในการพิมพ์และการใช้ตัวพิมพ์ที่ไม่สอดคล้องกันซึ่งการลบรายการซ้ำอัตโนมัติเพียงอย่างเดียวจะพลาดไป

วิธีจัดการบรรทัดว่างและช่องว่าง

ช่องว่างท้ายบรรทัดมองไม่เห็นในตัวแก้ไขข้อความส่วนใหญ่และการคัดลอกวาง แต่ทำให้บรรทัดถูกเปรียบเทียบว่าไม่เท่ากัน 'apple ' (ช่องว่างสองตัวท้าย) และ 'apple' เป็น string ที่ต่างกัน ดังนั้นหากไม่เปิดใช้การตัดช่องว่าง คุณจะเก็บทั้งสองไว้ — เหลือรายการซ้ำที่ซ่อนอยู่ในผลลัพธ์ ตัวเลือก 'ตัดช่องว่าง' จะลบช่องว่างหน้าและหลังออกจากแต่ละบรรทัดก่อนเปรียบเทียบ โดยไม่แก้ไขเนื้อหาของบรรทัดผลลัพธ์ (ข้อความที่ตัดแล้วจะถูกเขียนลงในผลลัพธ์)

ช่องว่างนำหน้าในโค้ดที่มีการเยื้องหรือรายการโครงร่างมีความหมาย: การตัดจะทำลายลำดับชั้นการเยื้อง สำหรับโค้ดหรือโครงร่างที่มีโครงสร้าง ให้ปิดใช้งานการตัดและใช้โหมดที่คำนึงถึงตัวพิมพ์เพื่อรักษาเนื้อหาบรรทัดที่แม่นยำ สำหรับรายการข้อความธรรมดา เช่น คำสำคัญ ชื่อเมือง หรือ URL path การตัดช่องว่างมักเป็นตัวเลือกที่ถูกต้องเสมอ

การสลับ 'เก็บแรกกับเก็บสุดท้าย' สำคัญที่สุดเมื่อรายการของคุณมีข้อมูลเมตาที่แนบกับตำแหน่ง ตัวอย่างเช่น log เหตุการณ์ที่รายการหลังแสดงสถานะล่าสุด — ในสถานการณ์นั้น การเก็บรายการสุดท้าย (ระเบียนล่าสุดสำหรับแต่ละคีย์) ถูกต้องตามความหมาย ขณะที่การเก็บรายการแรกจะรักษาข้อมูลเก่าไว้

คำถามที่พบบ่อย

›เครื่องมือรักษาลำดับบรรทัดไว้หรือไม่?

ใช่ บรรทัดไม่ถูกเรียงลำดับ — เพียงแต่ลบรายการซ้ำออก ลำดับสัมพัทธ์ของบรรทัดที่เหลือเหมือนกับลำดับอินพุตทุกประการ

›อะไรถือว่าเป็นรายการซ้ำ?

สองบรรทัดเป็นรายการซ้ำหากเหมือนกันหลังจากใช้ตัวเลือกที่เลือก (การรวมตัวพิมพ์และ/หรือการตัดช่องว่าง) เปรียบเทียบเฉพาะเนื้อหาข้อความ ไม่นับหมายเลขบรรทัดและตำแหน่ง

›บรรทัดว่างจะถูกลบหรือไม่?

บรรทัดว่างจะถูกลบก็ต่อเมื่อเป็นรายการซ้ำของกันเท่านั้น หากข้อความมีบรรทัดว่างสามบรรทัดติดต่อกันและเปิดใช้ 'เก็บแรก' มีเพียงบรรทัดว่างแรกที่เหลืออยู่ หากต้องการลบบรรทัดว่างทั้งหมด ให้ใช้เครื่องมือจัดเรียงข้อความที่มีตัวเลือก 'ลบบรรทัดว่าง'

›'เก็บรายการสุดท้าย' ทำอะไร?

เมื่อ 'เก็บแรก' ไม่ถูกเลือก เครื่องมือจะเก็บรายการสุดท้ายของแต่ละกลุ่มที่ซ้ำกันแทนที่จะเป็นรายการแรก ผลลัพธ์ยังคงแสดงในลำดับเอกสารต้นฉบับ — เพียงแต่รายการที่เหลืออยู่เปลี่ยนไป

›ฉันสามารถใช้สิ่งนี้เพื่อลบรายการซ้ำในรายการอีเมลได้ไหม?

ได้ วางที่อยู่อีเมลหนึ่งรายการต่อบรรทัด ใช้โหมดไม่คำนึงตัวพิมพ์ (ค่าเริ่มต้น) เนื่องจากที่อยู่อีเมลไม่คำนึงตัวพิมพ์ตามข้อกำหนด แนะนำให้ใช้การตัดช่องว่างสำหรับข้อมูลอีเมลที่คัดลอกวางด้วย

›มีขีดจำกัดจำนวนบรรทัดไหม?

ไม่มีขีดจำกัดที่บังคับใช้ เครื่องมือประมวลผลทุกอย่างในหน่วยความจำของเบราว์เซอร์ ในทางปฏิบัติ เบราว์เซอร์สมัยใหม่สามารถจัดการกับหลายแสนบรรทัดโดยไม่มีความล่าช้าที่สังเกตเห็นได้

›ข้อมูลของฉันออกจากเบราว์เซอร์ไหม?

ไม่ การประมวลผลทั้งหมดเกิดขึ้นใน JavaScript บนอุปกรณ์ของคุณอย่างสมบูรณ์ ไม่มีอะไรถูกอัปโหลดไปยังเซิร์ฟเวอร์ใดๆ

›ฉันจะลบรายการซ้ำใน CSV ตามคอลัมน์เฉพาะได้อย่างไร?

เครื่องมือนี้ทำงานกับบรรทัดทั้งหมด ในการลบรายการซ้ำตามคอลัมน์เดียว ให้เรียงลำดับหรือแยกคอลัมน์นั้นออกเป็นรายการคอลัมน์เดียวก่อน ลบรายการซ้ำ แล้วรวมกลับ สำหรับชุดข้อมูลขนาดใหญ่ เครื่องมือเฉพาะทาง เช่น pandas ของ Python หรือฟังก์ชัน UNIQUE ใน spreadsheet จะแม่นยำกว่า

การเปิดเผย

NordVPN
Sponsored
Strict no-logs VPN with 6,400+ servers in 111 countries. Threat Protection blocks ads, trackers, and malware while you work online.
Get NordVPN →
Cloudways
Sponsored
Managed cloud hosting for WordPress and web apps on DigitalOcean, Vultr, and AWS. Fast setup, no server headaches.
Try Cloudways →
Fiverr
Sponsored
Hire freelancers for design, writing, dev, and marketing — or sell your own services. Millions of gigs at every budget.
Browse Fiverr →