डुप्लिकेट लाइन हटाने का टूल — टेक्स्ट सूचियाँ तुरंत साफ़ करें
कोई भी लाइनों की सूची पेस्ट करें और यह टूल सभी डुप्लिकेट हटा देगा, केवल अद्वितीय प्रविष्टियाँ रखेगा। विकल्पों से आप केस सेंसिटिविटी नियंत्रित कर सकते हैं, तुलना से पहले आगे-पीछे के स्पेस हटा सकते हैं, और प्रत्येक डुप्लिकेट समूह में पहला या अंतिम रखना चुन सकते हैं।
डुप्लिकेट लाइनें हटाने के लिए ऊपर टेक्स्ट पेस्ट करें।
कैसे काम करता है
डुप्लिकेट लाइनें कब वास्तव में समस्या बनती हैं
कविता में डुप्लिकेट लाइनें बेहानी होती हैं, लेकिन संरचित डेटा में वे वास्तविक समस्याएँ पैदा करती हैं। CSV फ़ाइल में, एक डुप्लिकेट पंक्ति चुपचाप रिकॉर्ड की गिनती बढ़ा देती है, एग्रीगेट को विकृत करती है, और डेटाबेस में आयात करने पर प्राइमरी-की उल्लंघन का कारण बन सकती है। सर्वर लॉग फ़ाइलों में, एक क्रैश होती प्रक्रिया से बार-बार समान लॉग प्रविष्टियाँ कुछ ही मिनटों में डिस्क भर सकती हैं। कॉन्फ़िगरेशन फ़ाइलों में, डुप्लिकेट कुंजियाँ चुपचाप ओवरराइट हो जाती हैं — या बदतर, पार्सर के आधार पर पार्स त्रुटियाँ पैदा करती हैं।
कोड रिपॉजिटरी भी आकस्मिक लाइन डुप्लिकेशन से पीड़ित होती हैं: निर्भरता सूचियों (requirements.txt, package.json) में कॉपी-पेस्ट त्रुटियाँ, दोहराए गए import स्टेटमेंट, या .gitignore में डुप्लिकेट प्रविष्टियाँ। स्वचालित CI जाँचें अक्सर इन्हें पकड़ती हैं, लेकिन कमिट से पहले पेस्ट करके डीडुप्लिकेट करना पाइपलाइन विफलता को डीबग करने से तेज़ है।
खाली लाइनों पर विशेष ध्यान दें। दो लगातार खाली लाइनें तकनीकी रूप से डुप्लिकेट हैं, लेकिन कई टेक्स्ट फॉर्मेट (Markdown, Python सोर्स, ईमेल बॉडी) डबल खाली लाइनों को जानबूझकर विभाजक के रूप में उपयोग करते हैं। इस टूल का 'व्हाइटस्पेस ट्रिम' विकल्प उन लाइनों को सामान्य करता है जो भटके हुए स्पेस के कारण खाली दिखती हैं, बिना जानबूझकर की गई खाली लाइनों को नष्ट किए — परिणाम आपकी विशिष्ट सामग्री पर निर्भर करता है, इसलिए आउटपुट की समीक्षा करें।
केस सेंसिटिविटी: कब महत्वपूर्ण है और कब नहीं
डिफ़ॉल्ट रूप से यह टूल केस-इन्सेंसिटिव तुलना करता है, इसलिए 'Apple', 'apple', और 'APPLE' सभी एक ही लाइन मानी जाती हैं और केवल पहली रखी जाती है। यह टैग क्लाउड, कीवर्ड सूचियों, शहर के नामों और ईमेल पतों जैसी मानव-पठनीय सूचियों के लिए सही सेटिंग है जहाँ आप एक ही चीज़ के विभिन्न रूपों को एक में मिलाना चाहते हैं।
कोड के लिए केस-सेंसिटिव मोड अनिवार्य है। Python में import 'os' और 'OS' तकनीकी रूप से अलग हैं (हालाँकि 'OS' अधिकांश सिस्टम पर रनटाइम पर विफल हो जाएगा), और 'Result' और 'result' जैसे वेरिएबल नाम अलग-अलग पहचानकर्ता हैं। SQL कीवर्ड परंपरागत रूप से केस-इन्सेंसिटिव हैं, लेकिन Linux फ़ाइल सिस्टम पर टेबल नाम केस-सेंसिटिव हैं। कोड स्निपेट, कॉन्फ़िगरेशन कुंजियों, या पथों को डीडुप्लिकेट करते समय हमेशा केस-सेंसिटिव मोड सक्षम करें।
एक व्यावहारिक मध्यम मार्ग टूल को दो बार चलाना है: एक बार केस-इन्सेंसिटिव रूप से समीक्षा के लिए नज़दीकी डुप्लिकेट खोजने के लिए, और एक बार केस-सेंसिटिव रूप से अधिकृत डीडुप्लिकेशन के लिए। यह दो-पास दृष्टिकोण टाइपो और असंगत कैपिटलाइज़ेशन पकड़ता है जिसे अकेला स्वचालित डीडुप नज़रअंदाज़ कर देता।
खाली लाइन और व्हाइटस्पेस हैंडलिंग कैसे काम करती है
अधिकांश टेक्स्ट एडिटर और कॉपी-पेस्ट ऑपरेशन में ट्रेलिंग स्पेस अदृश्य होते हैं, फिर भी वे लाइनों को असमान बना देते हैं। 'apple ' (दो ट्रेलिंग स्पेस) और 'apple' अलग स्ट्रिंग हैं, इसलिए ट्रिमिंग सक्षम किए बिना आप दोनों रख लेंगे — आउटपुट में एक सूक्ष्म डुप्लिकेट छोड़ते हुए। 'व्हाइटस्पेस ट्रिम' विकल्प तुलना से पहले प्रत्येक लाइन की शुरुआत और अंत के स्पेस हटा देता है, आउटपुट लाइनों की सामग्री को संशोधित किए बिना (ट्रिम किया गया टेक्स्ट परिणाम में लिखा जाता है)।
इंडेंटेड कोड या आउटलाइन सूचियों में लीडिंग व्हाइटस्पेस महत्वपूर्ण है: ट्रिमिंग इंडेंटेशन पदानुक्रम को नष्ट कर देगी। कोड या संरचित आउटलाइन के लिए, ट्रिमिंग अक्षम करें और सटीक लाइन सामग्री बनाए रखने के लिए केस-सेंसिटिव मोड उपयोग करें। कीवर्ड, शहर के नाम, या URL पथों जैसी फ्लैट टेक्स्ट सूचियों के लिए, ट्रिमिंग लगभग हमेशा सही विकल्प है।
'पहला रखें बनाम आखिरी रखें' टॉगल तब सबसे महत्वपूर्ण होता है जब आपकी सूची में स्थिति-संबंधित मेटाडेटा हो। उदाहरण के लिए, एक इवेंट लॉग जहाँ बाद की प्रविष्टियाँ अधिक हालिया स्थिति दर्शाती हैं — उस परिदृश्य में, अंतिम घटना (प्रत्येक कुंजी के लिए सबसे हालिया रिकॉर्ड) रखना शब्दार्थ रूप से सही है, जबकि पहला रखना पुराना डेटा संरक्षित करेगा।
अक्सर पूछे जाने वाले प्रश्न
›क्या टूल लाइनों का क्रम बनाए रखता है?
हाँ। लाइनें सॉर्ट नहीं होती — केवल डुप्लिकेट हटाए जाते हैं। बचने वाली लाइनों का सापेक्ष क्रम इनपुट क्रम के समान ही होता है।
›डुप्लिकेट क्या माना जाता है?
दो लाइनें डुप्लिकेट हैं यदि चुने गए विकल्प लागू करने के बाद (केस फोल्डिंग और/या व्हाइटस्पेस ट्रिमिंग) वे समान हों। केवल टेक्स्ट सामग्री की तुलना होती है; लाइन नंबर और स्थान नहीं।
›क्या खाली लाइनें हटाई जाएंगी?
खाली लाइनें केवल तभी हटाई जाती हैं जब वे एक-दूसरे की डुप्लिकेट हों। यदि आपके टेक्स्ट में तीन लगातार खाली लाइनें हैं और 'पहला रखें' सक्षम है, तो केवल पहली खाली लाइन बचती है। सभी खाली लाइनें हटाने के लिए, 'खाली लाइनें हटाएँ' विकल्प वाले टेक्स्ट सॉर्टर का उपयोग करें।
›'आखिरी घटना रखें' क्या करता है?
जब 'पहला रखें' अनचेक होता है, तो टूल प्रत्येक डुप्लिकेट समूह की आखिरी घटना रखता है न कि पहली। परिणाम अभी भी मूल दस्तावेज़ क्रम में दिखता है — केवल बचने वाला इंस्टेंस बदलता है।
›क्या मैं इसे ईमेल सूचियाँ डीडुप्लिकेट करने के लिए उपयोग कर सकता हूँ?
हाँ। प्रति लाइन एक ईमेल पता पेस्ट करें। केस-इन्सेंसिटिव मोड (डिफ़ॉल्ट) उपयोग करें क्योंकि ईमेल पते विशिष्टता के अनुसार केस-इन्सेंसिटिव होते हैं। कॉपी-पेस्ट किए गए ईमेल डेटा के लिए व्हाइटस्पेस ट्रिमिंग भी अनुशंसित है।
›क्या लाइनों की सीमा है?
कोई लागू सीमा नहीं है। टूल आपके ब्राउज़र की मेमोरी में सब कुछ प्रोसेस करता है। व्यावहारिक रूप से, आधुनिक ब्राउज़र बिना किसी ध्यानयोग्य देरी के लाखों लाइनें संसाधित कर सकते हैं।
›क्या मेरा डेटा ब्राउज़र से बाहर जाता है?
नहीं। सभी प्रोसेसिंग आपके डिवाइस पर JavaScript में पूरी तरह से होती है। किसी सर्वर पर कुछ भी अपलोड नहीं किया जाता।
›मैं CSV को एक विशिष्ट कॉलम से कैसे डीडुप्लिकेट करूँ?
यह टूल पूरी लाइनों पर काम करता है। एकल कॉलम से डीडुप्लिकेट करने के लिए, पहले उस कॉलम को सॉर्ट करें या एकल-कॉलम सूची में निकालें, डीडुप्लिकेट करें, फिर फिर से जोड़ें। बड़े डेटासेट के लिए, Python के pandas या स्प्रेडशीट UNIQUE फ़ंक्शन जैसे समर्पित टूल अधिक सटीक हैं।
संबंधित टूल्स
अंतिम अपडेट: