AI எப்போதும் கிளவுடில் (cloud) இருக்க வேண்டிய அவசியமில்லை. கடந்த ஓராண்டில், இந்தத் துறையில் ஏற்பட்ட மிகவும் சுவாரஸ்யமான மாற்றம் ஒரு பெரிய மாடலோ அல்லது பகட்டான சாட்போட்டோ (chatbot) அல்ல. உங்கள் மேஜைக்கு அடியில் இருக்கும் சாதாரண வன்பொருள்களுக்கு (hardware) அதிகப்படியான வேலைப்பளுவை மாற்றும் அமைதியான நகர்வும், பிரீமியம் API-களுக்காகப் பணத்தைச் செலவிடுவது பெரும்பாலும் தேவையற்றது என்ற வளர்ந்து வரும் புரிதலுமே அதுவாகும். மூன்று சமீபத்திய முன்னேற்றங்கள் இதை இப்போது நடைமுறைப்படுத்துகின்றன: வெளியீட்டைப் பாதிக்காமல் இமேஜ் ஜெனரேஷன் மாடல்களைச் சுருக்கும் ஒரு புதிய குவாண்ட்டைசேஷன் இன்ஜின் (quantization engine), உங்கள் தரவை உங்கள் கணினியிலேயே வைத்திருக்கும் ஒரு டெஸ்க்டாப் ஏஜென்ட் (desktop agent), மற்றும் பல குழுக்கள் புறக்கணிக்கும் மிக எளிமையான செலவுக் குறைப்பு உத்தி.
நீங்கள் இருக்கும் இடத்திலேயே இயங்கும் குவாண்ட்டைஸ்டு டிஃபியூஷன் (Quantized Diffusion)
Hugging Face, டிஃபியூஷன் மாடல்களுக்காகவே பிரத்யேகமாக உருவாக்கப்பட்ட 4-bit குவாண்ட்டைசேஷன் முறையான Nunchaku-வை அறிமுகப்படுத்தியுள்ளது. இது பிரபலமான Diffusers லைப்ரரியுடன் நேரடியாக இணைகிறது, இதன் பொருள் உங்கள் பைப்லைனை (pipeline) ஆரம்பத்திலிருந்து மீண்டும் உருவாக்கத் தேவையில்லை, அப்படியே ஏற்கனவே உள்ள அமைப்புகளில் இதைப் பயன்படுத்தலாம்.
4-bit குவாண்ட்டைசேஷன் என்பது உண்மையில் என்ன? எளிமையாகச் சொன்னால், இது ஒரு மாடலின் வெயிட்டுகளின் (weights) எண் துல்லியத்தை (numerical precision) சுருக்குகிறது. ஒவ்வொரு பாராமீட்டரையும் முழுமையான 32-bit அல்லது 16-bit துல்லியத்துடன் சேமிப்பதற்குப் பதிலாக, Nunchaku ஒவ்வொரு வெயிட்டையும் நான்கு பிட்களாகக் குறைக்கிறது. இந்த மாடல் அசல் டிஸ்க் இடத்தின் ஒரு சிறு பகுதியை மட்டுமே ஆக்கிரமிக்கும், மேலும் முக்கியமாக, லோட் செய்யப்பட்டவுடன் மிகக் குறைந்த VRAM-ஐ மட்டுமே கோரும். 8 GB அல்லது 12 GB VRAM கொண்ட சாதாரண GPU-களைப் பயன்படுத்தும் பயனர்களுக்கு, ஒரு புரோக்ரஸ் பார் (progress bar) மெதுவாக நகர்வதைப் பார்த்துக் கொண்டிருப்பதற்கும், உண்மையில் ஒரு படத்தை உருவாக்குவதற்கும் இடையிலான வித்தியாசமாக இது அமையும்.
இதன் நடைமுறைப் பயன் மிகப்பெரியது. இதற்கு முன்பு இந்தத் தேவைக்கு போதுமானதல்ல என்று கருதப்பட்ட வன்பொருள்களிலும் கூட, நீங்கள் பெரிய டிஃபியூஷன் மாடல்களை இயக்க முடியும். சில தலைமுறைகளுக்கு முந்தைய ஒரு மிட்-ரேஞ்ச் கார்டு (mid-range card), திடீரென்று உயர்-தீர்மான இமேஜ் சிந்தசிஸிற்கு (high-resolution image synthesis) ஏற்றதாகிவிடும். மேலும் Nunchaku விஷுவல் ஃபிடெலிட்டியை (visual fidelity) பாதுகாக்கும் வகையில் வடிவமைக்கப்பட்டுள்ளதால், வெளியீடு மங்கலாகவோ அல்லது சிதைந்தோ இருக்காது. நீங்கள் கேம் அசெட்களை (game assets) புரோட்டோடைப் செய்தாலும், தயாரிப்பு மாதிரிகளை (product mocks) உருவாக்கினாலும் அல்லது பல விளக்கப்படங்களை மொத்தமாகச் செயலாக்கினாலும் (batch-processing), படங்கள் தெளிவானதாகவே இருக்கும்.
இதில் தனியுரிமை (privacy) சார்ந்த அம்சமும் உள்ளது. டிஃபியூஷனை உள்ளூர் ரீதியாக (locally) இயக்குவது என்பது உங்கள் ப்ராம்ப்ட்களும் (prompts) உருவாக்கப்பட்ட படங்களும் உங்கள் கணினியை விட்டு வெளியேறாது என்பதைக் குறிக்கிறது. நீங்கள் முக்கியமான கான்செப்ட் ஆர்ட் (concept art) அல்லது காப்புரிமை பெற்ற வடிவமைப்புகளை ஒரு ரிமோட் சர்வருக்குப் பதிவேற்ற வேண்டியதில்லை. அனைத்தும் உங்கள் ஃபயர்வால் (firewall) பாதுகாப்பில், உங்கள் டிஸ்க்கிலேயே இருக்கும். ரகசியமான IP-களைக் கையாளும் ஸ்டுடியோக்கள் அல்லது ஒழுங்குமுறைப்படுத்தப்பட்ட துறைகளில் (regulated industries) பணியாற்றும் படைப்பாளிகளுக்கு, இந்தத் தனிமைப்படுத்தல் ஒரு ஆடம்பரமல்ல; அது ஒரு கட்டாயம்.
உண்மையில் ஆஃப்லைனில் இயங்கும் டெஸ்க்டாப் ஏஜென்ட்கள்
உங்கள் டெஸ்க்டாப்பைத் தானியக்கமாக்க (automate) கிளவுட் API-கள் மட்டுமே ஒரே வழி அல்ல. Claude Cowork என்ற AI ஏஜென்ட் பிரேம்வொர்க் (framework), இப்போது Windows மற்றும் Linux-ல் இயல்பாகவே இயங்குகிறது. இதன் அமைப்பானது (setup) மிகவும் எளிமையானது, எனவே ஒவ்வொரு செயலையும் ஒரு வெளிப்புற எண்ட்பாயிண்ட் (external endpoint) வழியாக அனுப்பாமல், நீங்கள் ஏஜென்ட்டை உள்ளூர் ரீதியாகவே ஹோஸ்ட் செய்யலாம்.
ஒருமுறை இயங்கத் தொடங்கியதும், Claude Cowork சாதாரண அலுவலக வேலைகளைக் கவனித்துக் கொள்ளும். இது இயல்பான மொழித் தகவல்களின் (natural language instructions) அடிப்படையில் கோப்புகளைத் தயாரிக்கும், ரசீதுகளை ஒழுங்குபடுத்தும் மற்றும் கோப்புறைகளுக்கு (folders) இடையே தரவை நகர்த்தும். அப்ளிகேஷன் லாஜிக் (application logic) உங்கள் கணினியிலேயே இயங்குவதால், இது தினசரி வேலையின் தன்மையையே மாற்றுகிறது. ஒரு பிரவுசர் டேப்பில் (browser tab) உரையை நகலெடுத்துவிட்டு சர்வர் பதிலுக்காகக் காத்திருப்பதற்குப் பதிலாக, நீங்கள் ஒரு ஷெல் ஸ்கிரிப்டிடம் (shell script) பேசுவது போலவே சாதாரண ஆங்கிலத்தில் கட்டளைகளை வழங்கலாம்.
ஏஜென்ட்டை உள்ளூர் ரீதியாக வைத்திருப்பது வேகத்தை விட மேலானது. உங்கள் கோப்புகள், கோப்புப் பெயர்கள் மற்றும் கோப்பு கட்டமைப்புகள் மற்றவர்களின் கிளவுடில் இருக்காது. நீங்கள் நிதிப் பதிவுகள், சட்ட ஆவணங்கள் அல்லது தரவு இருப்பிட விதிகள் (data residency rules) மூலம் கட்டுப்படுத்தப்பட்ட எதையும் நிர்வகிப்பவராக இருந்தால், அந்தத் தன்மையைக் கூறுவதற்கு வார்த்தைகளே போதாது. ஒரு டெஸ்க்டாப் ஏஜென்ட் உங்கள் டைரக்டரி பட்டியலை (directory listing) யாருக்கும் அனுப்பாது. அது உங்கள் வரித் தரவுகளைக் (tax spreadsheets) கொண்டு பயிற்சி பெறாது.
AI-யை உங்கள் பணிப்பாய்விற்கு (workflow) இவ்வளவு நெருக்கமாகக் கொண்டு வருவது தேவையற்ற சிரமங்களைக் குறைக்கிறது. நீங்கள் டோக்கன்கள் (tokens) அல்லது API கீகளைப் பற்றிச் சிந்திக்கத் தேவையில்லை. வெஸ்ட் கோஸ்டில் (West Coast) ஏற்படும் சேவைத் தடங்கல் உங்கள் ஆட்டோமேஷனை மதிய நேரத்தில் முடக்கிவிடுமா என்று நீங்கள் கவலைப்படத் தேவையில்லை. அந்தத் கருவி ஒரு வாடகைக்கு எடுக்கப்பட்ட தூரத்திலிருக்கும் ஊழியராக இல்லாமல், உங்கள் இயங்குதளத்தின் (operating system) ஒரு பகுதியாக மாறிவிடும்.
எளிமையான பணிகளுக்கு விலையுயர்ந்த மாடல்களைப் பயன்படுத்துவதை நிறுத்துங்கள்
எந்தவொரு காரணமுமின்றி பட்ஜெட்டைச் சுரண்டும் ஒரு பழக்கம் இது: ஒவ்வொரு சிறிய வேலைக்கும் Claude Opus-ஐ அழைப்பது. பிரீமியம் ரீசனிங் (premium reasoning) எப்போதும் அந்த விலைக்குத் தகுதியானது என்று கருதி, பல டெவலப்பர்கள் தங்களுக்குக் கிடைக்கும் மிகப்பெரிய மற்றும் விலையுயர்ந்த மாடலையே பயன்படுத்துகிறார்கள். ஆனால் அது உண்மையல்ல.
AI பணிகளில் சுமார் 60% முதல் 70% வரை எளிமையான கோப்பு வாசிப்பு (file reads), உரை பிரித்தெடுத்தல் (text extractions), பேட்டர்ன் மேட்சிங் (pattern matching) அல்லது அடிப்படை கமெண்ட் ரூட்டிங் (command routing) போன்றவைகளே ஆகும். இந்த வேலைகளுக்கு அதிநவீன ரீசனிங் (frontier-level reasoning) தேவையில்லை. அவற்றுக்குத் திறமையான மற்றும் வேகமான செயல்பாடு மட்டுமே தேவை. ஒரு லேசான டைரக்டரி ஸ்கேனிங் (directory scan) பணிக்காக ஒரு டாப்-டியர் (top-tier) மாடலைப் பயன்படுத்துவது என்பது, ஒரு வைட்போர்டைத் தொங்கவிட ஒரு சீனியர் ஆர்க்கிடெக்ட்டைத் (senior architect) பணியமர்த்துவது போன்றது. வேலை முடிந்துவிடும், ஆனால் நீங்கள் பயன்படுத்தாத ஒரு நிபுணத்துவத்திற்காகப் பணம் செலுத்தியிருப்பீர்கள்.
ஒரு அடுக்குமுறை அணுகுமுறை இதைச் சரிசெய்யும். சிறிய பணிகளை உள்ளூர் மாதிரிகளுக்கோ (local models) அல்லது சிறிய கிளவுட் எண்ட்பாயிண்டுகளுக்கோ (cloud endpoints) மாற்றவும். வகைப்படுத்துதல் (classification), சுருக்கம் செய்தல் (summarization) மற்றும் வடிவமைத்தல் (formatting) போன்ற பணிகளுக்கு உங்கள் சொந்த வன்பொருளில் இயங்கும் 7-பில்லியன் அளவுருக்கள் கொண்ட மாதிரியைப் பயன்படுத்தவும். சிக்கலான தர்க்கம் (complex logic), பல படிநிலைத் திட்டமிடல் (multi-step planning) அல்லது ஆழமான துறை சார்ந்த பகுத்தறிவு (deep domain reasoning) தேவைப்படும் பணிகளுக்காக மட்டுமே Claude Opus உள்ளிட்ட பெரிய மாதிரிகளைத் தக்கவைத்துக் கொள்ளுங்கள்.
இது செலவுகளைத் வியத்தகு முறையில் குறைப்பதோடு மட்டுமல்லாமல், உங்கள் பணிப்பாதையையும் (pipeline) வேகப்படுத்துகிறது. சிறிய மாதிரிகள் உடனடியாகப் பதிலளிக்கும். அவை பகிரப்பட்ட API-களில் நிறுவனப் போக்குவரத்திற்கு (enterprise traffic) பின்னால் வரிசையில் காத்திருக்க வேண்டியதில்லை. நீங்கள் விரைவாகப் பதில்களைப் பெறலாம், மேலும் உங்கள் மாதாந்திரக் கட்டணமும் குறையும். இந்த உத்தி தரத்தைக் குறைப்பதைப் பற்றியது அல்ல; இது தேவைக்கேற்றத் திறனைப் பயன்படுத்துவதைப் பற்றியது.
உண்மையான சாராம்சம்
இங்குள்ள பொதுவான அம்சம் சுதந்திரம் (independence) ஆகும். Nunchaku மூலம் நீங்கள் ஒரு கிளஸ்டரை (cluster) வாடகைக்கு எடுக்காமலேயே படங்களை உருவாக்க முடியும். Claude Cowork உங்கள் ஆட்டோமேஷனை உங்கள் சொந்த வன்பொருளிலேயே (own metal) வைத்திருக்கும். ஒரு அடுக்குமுறை மாதிரி உத்தி, தினசரிப் பயணத்திற்கு ஒரு சொகுசு இயந்திரத்தை வாடகைக்கு எடுப்பதைத் தவிர்க்க உதவுகிறது. இவை அனைத்தும் இணைந்து, AI உடன் பணியாற்றுவதற்கான மலிவான, வேகமான மற்றும் மிகவும் பாதுகாப்பான (private) வழியைக் காட்டுகின்றன. இந்த வாரம் ஒரு சோதனையுடன் தொடங்குங்கள். உங்கள் தற்போதைய GPU-வில் Nunchaku-வை நிறுவி, ஒரு சாதாரண கோப்புப் பணிக்காக (filing task) உள்ளூர் ஏஜென்ட்டை (local agent) சோதித்துப் பாருங்கள், அல்லது எத்தனை அழைப்புகளுக்கு உண்மையில் உயர்தர மாதிரி தேவைப்பட்டது என்பதை அறிய உங்கள் API பதிவுகளை (logs) ஆய்வு செய்யுங்கள். கருவிகள் தயாராக உள்ளன. சேமிப்பு உண்மையானது.
மூலம்: Dev.to original coverage
விருப்பத்தேர்வு கற்றல் சமூகம்: GyaanSetu AI on Telegram