AI निबंध डिटेक्टर कैसे काम करते हैं (और परफेक्ट क्यों नहीं)
Tim · SUS IT संपादकीय टीम
Tim सॉफ़्टवेयर इंजीनियर और AI शोधकर्ता हैं, पहचान पद्धतियों पर उनका ध्यान है।
पर्प्लेक्सिटी, बर्स्टिनेस और सांख्यिकीय पद्धति — सर्वश्रेष्ठ डिटेक्टर भी इंसानी लेखन पर झूठे सकारात्मक क्यों देते हैं।
AI लेखन डिटेक्टर शैक्षणिक और संपादकीय प्रवाह का हिस्सा बन गए। छात्र जमा, प्रकाशक पांडुलिपि, प्लेटफ़ॉर्म स्पैम — सब स्कैन होता है। पर ये कैसे काम करते हैं और इंसानी लेखन क्यों फ़्लैग होता है? यांत्रिकी समझकर संभाव्य स्कोर को अंतिम फैसला न बनाएँ।
मूल समस्या: टेक्स्ट सांख्यिकी है
प्राकृतिक भाषा सांख्यिकीय घटना है। AI भी मानव पाठ पर प्रशिक्षित — प्लॉसिबल मानव भाषा उत्पन्न करता है, इसलिए पकड़ना कठिन। पहचान सूक्ष्म सांख्यिकीय अंतर ढूँढती है जो विषय और शैली में टिके।
पर्प्लेक्सिटी: प्रत्येक शब्द कितना पूर्वानुमेय?
सबसे व्यापक मीट्रिक — पर्प्लेक्सिटी: पिछले संदर्भ दिए कितना आश्चर्य मॉडल को शब्द से होता है। इंसानी लेखन अक्सर अधिक पर्प्लेक्सिटी — अप्रत्याशित शब्द, मुहावरे, डोमेन शब्द। AI संभावना अधिकतम करता है — कम पर्प्लेक्सिटी। लंबा निम्न-पर्प्लेक्सिटी खंड संकेत।
बर्स्टिनेस: जटिलता में कितना बदलाव?
दूसरा संकेत — वाक्य लंबाई, संरचना, जटिलता में परिवर्तनशीलता। इंसान "फटता" है: लंबा वाक्य, फिर छोटा, घना तकनीकी अनुच्छेद फिर उपमा। AI समान गहराई का लयबद्ध प्रवाह।
ये मीट्रिक अजेय क्यों नहीं
ये लेखन के गुण हैं, लेखकत्व के नहीं। औपचारिक शैक्षणिक लेखन जानबूझकर स्पष्ट और पूर्वानुमेय। इंजीनियरिंग रिपोर्ट, कानूनी ब्रीफ़, वैज्ञानिक विधि — अच्छे औपचारिक लेखन की विशेषताएँ, AI होना ज़रूरी नहीं। द्विभाषी लेखक भी। झूठे सकारात्मक = सांख्यिकीय उपाय का अंतर्निहित परिणाम।
प्रशिक्षण डेटा समस्या
डिटेक्टर ज्ञात-इंसानी और ज्ञात-AI पर प्रशिक्षित। डेटा की गुणवत्ता सीमा तय करती है। ChatGPT 3.5 पर प्रशिक्षित Claude 3.5 या GPT-4o को कम अच्छा पकड़ सकता है। भाषा विविधता। मॉडल सुधरते रहते हैं; डिटेक्टर पुनःप्रशिक्षण और लैग।
ज़ीरो-शॉट बनाम फाइन-ट्यून
कुछ सिस्टम पूर्व-प्रशिक्षित LM से सीधे पर्प्लेक्सिटी — पारदर्शी, कम सटीक। फाइन-ट्यून क्लासिफ़ायर उच्च सटीकता पर अपने वितरण पर ओवरफिट कर सकता है। सर्वोत्तम कई दृष्टिकोण मिलाते हैं और कैलिब्रेटेड विश्वास देते हैं।
ज़िम्मेदार डिटेक्टर क्या करता है
स्कोर + विश्वास स्तर; योगदान देने वाले अंश हाइलाइट; ज्ञात विफलताएँ बताना; महत्वपूर्ण निर्णय पर मानव समीक्षा सिफारिश। SUS IT दस्तावेज़ विश्लेषण में औचित्य टेक्स्ट देता है ताकि संख्या के पीछे तर्क देख सकें।
परिणाम से क्या करें
अपने लिखे पर ऊँचा स्कोर हो तो लक्षित संशोधन — निजी दृष्टिकोण, वाक्य विविधता, डोमेन भाषा, व्यक्तिगत उदाहरण। फिर से चलाएँ। शिक्षक/संपादक के पास फ़्लैग हो तो स्कोर बातचीत का संकेत, फैसला नहीं — प्रक्रिया, अंश, अतिरिक्त सबूत।