AI கண்டறிதலின் நம்பகத்தன்மை நெருக்கடி: சில கருவிகள் வெற்றி பெறுகின்றன, மற்றவை முற்றிலும் தோல்வியடைகின்றன

Authors Guild நடத்திய சமீபத்திய ஆய்வு, AI எழுத்து கண்டறியும் கருவிகளின் நம்பகத்தன்மையில் உள்ள மிகப்பெரிய வேறுபாட்டை வெளிப்படுத்தியுள்ளது. சில கருவிகள் மிகவும் துல்லியமாக இருக்கும் அதே வேளையில், மற்றவை அடிப்படையிலேயே குறைபாடுடையவை என்பதை இது காட்டுகிறது. தங்கள் படைப்புகள் மனிதர்களால் உருவாக்கப்பட்டவை என்பதை நிரூபிப்பதன் மூலம் வாழ்வாதாரம் பெற வேண்டியிருக்கும் தொழில்முறை எழுத்தாளர்களுக்கு இந்த நிலையற்ற தன்மை ஒரு குறிப்பிடத்தக்க அச்சுறுத்தலை ஏற்படுத்துகிறது.

செயல்திறன் இடைவெளி: முழுமையான துல்லியம் முதல் முழுமையான தோல்வி வரை

உருவாக்கும் AI (generative AI) ஒரு முக்கியப் போக்காக மாறுவதற்கு பல ஆண்டுகளுக்கு முன்பே, அதாவது 2020 மற்றும் 2022-க்கு இடையில் வெளியிடப்பட்ட பத்து கட்டுரைகளைப் பயன்படுத்தி Authors Guild ஒரு கடுமையான சோதனையை நடத்தியது. "AI-க்கு முந்தைய" மனித உரையைப் பயன்படுத்துவதன் மூலம், தவறான நேர்மறை விகிதங்களை (false positive rates) அளவிட இந்த ஆய்வு ஒரு தெளிவான அடிப்படையை வழங்கியது.

முடிவுகள் முரண்பட்டதாக இருந்தன. Pangram மற்றும் Grammarly ஆகியவை மிகவும் நம்பகமானவையாக உருவெடுத்தன; அவை மனிதர்களால் எழுதப்பட்ட ஒவ்வொரு உரையும் மனிதாவே என்பதைச் சரியாகக் கண்டறிந்தன (0.0% AI மதிப்பெண்). Originality.ai என்பதும் அனைத்துத் தரங்களிலும் அதிக துல்லியத்தைப் பேணுவதன் மூலம் வலுவாகச் செயல்பட்டது.

இதற்கு நேர்மாறாக, Sidekicker.ai மிக மோசமாகத் தோல்வியடைந்தது. சோதனையில் இருந்த ஒவ்வொரு மனிதக் கட்டுரையும் "பெரும்பாலும் AI மூலம் உருவாக்கப்பட்டது" என்று அடையாளப்படுத்தப்பட்டது; இதில் இரண்டு குறிப்பிட்ட கட்டுரைகள் 100% AI மதிப்பெண்ணைப் பெற்றன. ZeroGPT என்பதும் நம்பகமற்றது என்று நிரூபிக்கப்பட்டது; "Erdrich Pulitzer Prize" கட்டுரை போன்ற சந்தேகத்திற்கு இடமில்லாத மனிதத் தரவுகளுக்கும், இது அடிக்கடி அதிக AI சதவீதத்தைக் காட்டியது (அந்தக் கட்டுரையை 76.3% AI சாத்தியக்கூறு கொண்டதாகக் குறிப்பிட்டது).

தொழில்முறை எழுத்தின் முரண்

இந்த ஆய்வு ஒரு கவலையளிக்கும் தொழில்நுட்ப முரண்பாட்டைக் கோடிட்டுக் காட்டுகிறது: ஒரு மனித எழுத்தாளர் எவ்வளவு திறமையானவராக இருக்கிறாரோ, அவ்வளவு அதிகமாக அவர் தவறான கண்டறியும் கருவிகளால் அடையாளப்படுத்தப்பட வாய்ப்புள்ளது. தொழில்முறை எழுத்து என்பது தெளிவு, சுருக்கம் மற்றும் துல்லியம் ஆகியவற்றின் அடிப்படையில் அமைகிறது—இவைதான் Large Language Models (LLMs) அப்படியே பிரதிபலிக்கப் பயிற்சி அளிக்கப்பட்ட துல்லியமான புள்ளிவிவர முறைகளாகும்.

AI மாதிரிகள் உயர்தர மனித உரைநடையில் பயிற்சி அளிக்கப்படுவதால், ஒரு சிறந்த முறையில் எழுதப்பட்ட வாக்கியத்தின் "கைரேகை", AI மூலம் உருவாக்கப்பட்ட வாக்கியத்தைப் போலவே தோற்றமளிக்கலாம். இது ஒரு ஆபத்தான சூழலை உருவாக்குகிறது; பல தசாப்தங்களாகத் தங்கள் திறமையை வளர்த்தெடுத்த ஒரு எழுத்தாளர், Sidekicker போன்ற கருவியின் தவறான நேர்மறை (false positive) முடிவுகளால் தனது ஒப்பந்தங்களை இழக்க நேரிடலாம் அல்லது தனது நற்பெயருக்குக் களங்கம் விளைவிக்கலாம்.

"Black Box" சிக்கலும் கண்டறிதலின் எதிர்காலமும்

வெற்றி பெற்ற கருவிகள் கூட வெளிப்படைத்தன்மை குறித்து விமர்சனங்களை எதிர்கொள்கின்றன. தனது கண்டறியும் கருவி அடிப்படையில் ஒரு "black box" போலச் செயல்படுகிறது என்றும், அதாவது ஒரு குறிப்பிட்ட உரை ஏன் அடையாளப்படுத்தப்பட்டது என்பதற்கான விரிவான விளக்கத்தை வழங்க முடியாது என்றும் Pangram CEO Max Spero குறிப்பிட்டார். மனிதர்கள் ஒரு LLM-ன் சீரான தன்மையை விட அதிக மாறுபாடுகளுடனும் வாதக் கட்டமைப்புகளுடனும் எழுதுகிறார்கள் என்று அவர் வாதிட்டாலும், விளக்கமளிக்கும் திறன் இல்லாமை பொறுப்புக்கூறலுக்கு ஒரு தடையாகவே உள்ளது.

மேலும், இந்தச் சோதனையில் Pangram மற்றும் Grammarly ஆகியவற்றின் வெற்றி, அவை முதன்மையாக தவறான நேர்மறைகளைத் தவிர்ப்பதில் (மனிதர்களைத் தவறாக அடையாளப்படுத்தாமல் இருப்பதில்) சிறந்தவை என்பதை மட்டுமே நிரூபிக்கிறது. அவை AI-யைக் கண்டறிவதில் (இயந்திர உரையை அடையாளம் காண்பதில்) சமமான செயல்திறன் கொண்டவை என்று இது கட்டாயமாக உறுதிப்படுத்தாது.

"எழுத AI-யைப் பயன்படுத்துவதற்கும்" மற்றும் "சிந்திக்க AI-யைப் பயன்படுத்துவதற்கும்" இடையிலான வேறுபாட்டைத் தொழில்துறை கண்டறியப் போராடிக்கொண்டிருக்கும் நிலையில், கண்டறியும் கருவிகள் ஒருபோதும் தொழில்முறை முடிவுகளுக்கான ஒரே அடிப்படையாக இருக்கக்கூடாது என்று Authors Guild எச்சரிக்கிறது.

முக்கியக் குறிப்புகள்

• துல்லியத்தில் அதீத வேறுபாடு: இந்தச் சோதனையில் Pangram மற்றும் Grammarly ஆகியவை 0% தவறான நேர்மறை விகிதத்தைப் பெற்றன, ஆனால் Sidekicker.ai மனித உரையில் 100% ஐயும் AI மூலம் உருவாக்கப்பட்டதாகக் குறிப்பிட்டது.
• தொழில்முறைத் தண்டனை: உயர்தரமான, துல்லியமான மனித எழுத்து, AI வெளியீடுகளுடன் புள்ளிவிவர ரீதியாகப் ஒற்றுமைகளைக் கொண்டுள்ளது, இது நிபுணத்துவ எழுத்தாளர்களைக் கண்டறிதலில் ஏற்படும் பிழைகளுக்கு உள்ளாக்குகிறது.
• மனித மேற்பார்வைக்கான அழைப்பு: கண்டறியும் கருவிகளைத் துணைக்கருவிகளாக மட்டுமே பயன்படுத்தவும் மற்றும் எழுத்தாளர்களுக்குத் தங்கள் படைப்புகளைத் தற்காத்துக் கொள்ள வாய்ப்பளிக்க வேண்டும் என்றும் பதிப்பகங்களுக்கு Authors Guild அறிவுறுத்துகிறது.