உங்கள் ஆவணங்கள் உங்கள் டோக்கன்களைத் தீர்ப்பதில்லை — உங்கள் கருவிகளே செய்கின்றன

PRD மற்றும் வடிவமைப்பு ஆய்வுகள் (design reviews) போன்ற ஆவணங்களை எழுதுவது அதிக டோக்கன்களைத் தீர்த்துவிடுமா என்று மக்கள் என்னிடம் கேட்கிறார்கள்.

இந்தச் செயல்முறை மிகவும் கடினமானது என்று அவர்கள் நினைக்கிறார்கள். AI-ஐ நேரடியாகக் குறியீடு (code) எழுத விடுவது மலிவானது என்று அவர்கள் நினைக்கிறார்கள்.

அவர்கள் தவறு செய்கிறார்கள்.

அதிக ஆவணங்களை வைத்திருப்பதும், அதிக டோக்கன்களைத் தீர்ப்பதும் இரண்டு வெவ்வேறு விஷயங்கள். ஆவணங்கள் உங்கள் கோப்புறைகளில் (folders) இருக்கும். அவை தானாகவே டோக்கன்களைத் தீர்ப்பதில்லை. உங்கள் தவறான பழக்கங்களே டோக்கன்களைத் தீர்க்கின்றன.

உண்மையான டோக்கன் விரயக் காரணிகள் இவைதான்:

  • சூழல் அதிகரிப்பு (Context bloat): நீங்கள் ஒரு உரையாடலை நாள் முழுவதும் தொடர்ந்து வைத்திருக்கிறீர்கள். ஒவ்வொரு முறை புதிய கேள்வியைக் கேட்கும் போதும், பழைய வரலாற்றின் ஆயிரக்கணக்கான டோக்கன்களுக்கு நீங்கள் பணம் செலுத்துகிறீர்கள்.
  • தெளிவற்ற தூண்டுதல்கள் (Vague prompts): உங்களுக்கு என்ன வேண்டும் என்பதை நீங்கள் சரியாகச் சொல்லவில்லை. AI அதை ஊகித்துச் செய்கிறது. ஒரு தெளிவான தூண்டுதல் (prompt) மூலம் செய்யக்கூடிய ஒரு விஷயத்திற்காக, நீங்கள் மூன்று சுற்றுகள் செலவிடுகிறீர்கள்.
  • மோசமான கருவி பயன்பாடு (Poor tool usage): நீங்கள் ஒரு கோப்பை மட்டும் மாற்றும்போது, AI-ஐ உங்கள் முழு ரெப்போவையும் (repo) படிக்க வைக்கிறீர்கள்.

மிகப்பெரிய செலவு மீண்டும் வேலை செய்தல் (rework) ஆகும்.

நீங்கள் ஒரு PRD-ஐ எழுதவில்லை என்றால், AI உங்கள் தேவைகளைத் தவறாகப் புரிந்துகொள்ளக்கூடும். அதன் பிறகு, மீண்டும் எழுதுவதற்கும், செய்தவற்றைத் தகர்ப்பதற்கும் மற்றும் பிழைகளைச் சரிசெய்வதற்கும் நீங்கள் அதிக டோக்கன்களைச் செலவிடுகிறீர்கள்.

ஒரு PRD என்பது ஒருமுறை ஏற்படும் செலவு. மீண்டும் வேலை செய்வது (Rework) என்பது ஒரு கூட்டுக்கடன் (compounding debt).

ஆவணங்களைக் குறைப்பதற்குப் பதிலாக, டோக்கன்களைச் சேமிக்க இந்த முறைகளைப் பயன்படுத்துங்கள்:

  • சூழலைக் குறைக்கவும் (Trim context): உங்கள் சாட் வரலாற்றை (chat history) அடிக்கடி அழிக்கவும்.
  • மாடல்களைப் பிரிக்கவும் (Tier your models): தேடுதல் மற்றும் வாசிப்பதற்கு மலிவான, சிறிய மாடல்களைப் பயன்படுத்தவும். கடினமான சிந்தனை மற்றும் குறியீட்டு முறைக்கு (coding) மட்டுமே வலிமையான மாடல்களைப் பயன்படுத்தவும்.
  • கோப்புகளைத் துல்லியமாக வாசிக்கவும்: தற்போதைய மாற்றத்திற்குத் தேவையானவற்றை மட்டும் AI-க்கு வழங்கவும்.
  • ப்ராம்ப்ட் கேச்சிங்கைப் (prompt caching) பயன்படுத்தவும்: இது உங்கள் செலவுகளை கணிசமாகக் குறைக்கும்.
  • டோக்கன் ப்ராக்ஸியைப் (token proxy) பயன்படுத்தவும்: வழக்கமான கட்டளைகளின் வெளியீட்டைச் சுருக்கவும்.
  • இணையான செயல்பாடுகள் (Parallelize): சுற்றுகளைக் குறைக்கத் தனித்தனிப் பணிகளை ஒரே நேரத்தில் இயக்கவும்.

ஆவணங்கள் சொத்துக்கள் (assets). அவை முடிவுகளை ஆய்வு செய்ய உங்களுக்கு உதவுகின்றன. AI ஒரு நல்ல ஆவணத்தைப் படிக்கும்போது, அது "ஏன்" என்பதை உடனடியாகப் புரிந்துகொள்கிறது. இது டோக்கன்களைச் சேமிக்கிறது.

நீங்கள் சேமிக்க விரும்பினால், உங்கள் கருவிகளை எவ்வாறு பயன்படுத்துகிறீர்கள் என்பதில் சேமிக்கவும். ஆவணங்களைத் தவிர்ப்பதன் மூலம் சேமிக்க முயற்சிக்காதீர்கள்.

Source: https://dev.to/kanfu-panda/your-docs-arent-burning-your-tokens-your-tooling-is-58ck

Optional learning community: https://t.me/GyaanSetuAi