എന്റെ സമീപനം മാറ്റുന്നത് വരെ എന്റെ AI ഇന്റഗ്രേഷൻ ചിലവ് വളരെ കൂടുതലായിരുന്നു
നീളമുള്ള ലേഖനങ്ങൾ സംഗ്രഹിക്കുന്നതിനായി ഞാൻ ഒരു ടൂൾ നിർമ്മിച്ചു. ഇത് പ്രവർത്തിപ്പിക്കാൻ ഞാൻ GPT-4 ഉപയോഗിച്ചു. സംഗ്രഹങ്ങൾ മികച്ചതായിരുന്നു. ഒരു മാസത്തിനുള്ളിൽ ബില്ല് $1,200 വന്നു.
എന്റെ പ്രോജക്റ്റിന് ആ ചിലവ് വളരെ കൂടുതലായിരുന്നു. എനിക്ക് മൂന്ന് വഴികളുണ്ടായിരുന്നു. ചിലവ് കുറയ്ക്കുക അല്ലെങ്കിൽ ആ ഫീച്ചർ നിർത്തലാക്കുക.
ഞാൻ GPT-3.5-ലേക്ക് മാറാൻ ശ്രമിച്ചു. വില കുറഞ്ഞു. ഗുണനിലവാരവും കുറഞ്ഞു. സംഗ്രഹങ്ങൾ അവ്യക്തമാവുകയും പ്രധാനപ്പെട്ട വസ്തുതകൾ വിട്ടുപോവുകയും ചെയ്തു.
ഇൻപുട്ട് ടെക്സ്റ്റ് സൈസ് കുറയ്ക്കാൻ ഞാൻ ശ്രമിച്ചു. പ്രധാനപ്പെട്ട വാചകങ്ങൾ ആദ്യം തിരഞ്ഞെടുക്കാൻ ഞാൻ ലോക്കൽ ലൈബ്രറികൾ ഉപയോഗിച്ചു. അത് സഹായിച്ചുവെങ്കിലും ചിലവ് ഉയർന്ന നിലയിൽ തന്നെ തുടർന്നു. ചെറിയ മോഡലുകൾ നീളമുള്ള ടെക്സ്റ്റുകളിൽ ഇപ്പോഴും തെറ്റുകൾ വരുത്തിക്കൊണ്ടിരുന്നു.
പിന്നീട് ഞാൻ ഒരു മികച്ച വഴി കണ്ടെത്തി. എല്ലാ കാര്യങ്ങൾക്കും ഒരു വലിയ മോഡൽ ഉപയോഗിക്കുന്നത് ഞാൻ നിർത്തി. രണ്ട് ഘട്ടങ്ങളുള്ള ഒരു പൈപ്പ്ലൈൻ (pipeline) ഉപയോഗിക്കാൻ ഞാൻ തുടങ്ങി.
Step 1: Extractive phase. ലേഖനത്തിൽ നിന്ന് ഏറ്റവും പ്രധാനപ്പെട്ട 5 മുതൽ 10 വരെ വാചകങ്ങൾ തിരഞ്ഞെടുക്കാൻ കുറഞ്ഞ ചിലവുള്ളതും വേഗതയേറിയതുമായ ഒരു ടൂൾ ഉപയോഗിക്കുക. ഇത് ടെക്സ്റ്റിന്റെ 90% ഒഴിവാക്കുന്നു.
Step 2: Abstractive phase. ആ കുറച്ച് വാചകങ്ങൾ മാത്രം ഒരു ചെറിയ, കുറഞ്ഞ ചിലവുള്ള API-ലേക്ക് അയക്കുക. അവയെ കോർത്തിണക്കി വ്യക്തമായ ഒരു സംഗ്രഹം തയ്യാറാക്കാൻ അതിനോട് ആവശ്യപ്പെടുക.
ഈ മാറ്റം എന്റെ ചിലവ് 80% കുറച്ചു. ഗുണനിലവാരം GPT-4-ന് സമാനമായി തന്നെ നിലനിന്നു. API കോളുകൾ വളരെ ചെറുതും ചിലവ് കുറഞ്ഞതുമായി മാറി.
ഞാൻ രണ്ട് പ്രധാന പാഠങ്ങളും പഠിച്ചു:
Caching ഉപയോഗിക്കുക. ഒരേ ലേഖനം തന്നെ നിരവധി ഉപയോക്താക്കൾ വായിക്കുന്നുണ്ടെങ്കിൽ, പ്രക്രിയ രണ്ടുതവണ പ്രവർത്തിപ്പിക്കാതിരിക്കുക. ഫലം സേവ് ചെയ്തു വെക്കുക.
Layers ഉപയോഗിക്കുക. നിങ്ങൾക്ക് എപ്പോഴും ഒരു വലിയ മോഡൽ തന്നെ ആവശ്യമില്ല. സങ്കീർണ്ണമായ ജോലികളെ ചെറിയ, കുറഞ്ഞ ചിലവുള്ള ഘട്ടങ്ങളായി തിരിക്കുക.
നിങ്ങളുടെ പ്രോജക്റ്റുകളിൽ AI ഗുണനിലവാരവും ചിലവും നിങ്ങൾ എങ്ങനെയാണ് സന്തുലിതമാക്കുന്നത്? വ്യത്യസ്ത ഘട്ടങ്ങൾക്കായി നിങ്ങൾ വ്യത്യസ്ത മോഡലുകൾ ഉപയോഗിക്കാറുണ്ടോ?
Optional learning community: https://t.me/GyaanSetuAi