ഗൂഗിൾ AI ജനറേഷൻ എന്ന രീതിയെ എന്നെന്നേക്കുമായി മാറ്റുന്നു

സാധാരണ AI മോഡലുകൾ ഓരോ വാക്കുകളായിട്ടാണ് ടെക്സ്റ്റ് നിർമ്മിക്കുന്നത്. ഈ രീതി സാവധാനത്തിലുള്ളതാണ്. ഓരോ പുതിയ വാക്കിനും നെറ്റ്‌വർക്കിലൂടെ പൂർണ്ണമായ ഒരു പാസ് ആവശ്യമാണ്. ഇത് ഒരു തടസ്സം (bottleneck) സൃഷ്ടിക്കുന്നു.

ഇത് പരിഹരിക്കുന്നതിനായി Google DeepMind DiffusionGemma വികസിപ്പിച്ചെടുത്തു. ഇത് discrete text diffusion ഉപയോഗിക്കുന്നു. വലിയ ടെക്സ്റ്റ് ബ്ലോക്കുകളെ ഒരേസമയം പരിഷ്കരിച്ചുകൊണ്ടാണ് ഇത് പ്രവർത്തിക്കുന്നത്.

DiffusionGemma-യുടെ പ്രധാന സവിശേഷതകൾ:

  • പാരലൽ ജനറേഷൻ (Parallel Generation): ഈ മോഡൽ ടെക്സ്റ്റ് ബ്ലോക്കുകളെ ഒരേസമയം പരിഷ്കരിക്കുന്നു. ഇത് ഇടത്തുനിന്ന് വലത്തോട്ട് എന്ന രീതിയിലല്ല പ്രവർത്തിക്കുന്നത്.
  • 4 മടങ്ങ് വേഗത: GPUs-ൽ 4 മടങ്ങ് വരെ വേഗത ലഭിക്കുന്നതായി Google റിപ്പോർട്ട് ചെയ്യുന്നു.
  • മിക്സ്ചർ ഓഫ് എക്സ്പെർട്ട്സ് (Mixture of Experts): 26B പാരാമീറ്റർ ബാക്ക്ബോണിൽ നിന്ന് ഓരോ സ്റ്റെപ്പിലും ഈ മോഡൽ 3.8B പാരാമീറ്ററുകൾ ഉപയോഗിക്കുന്നു.

ഈ മോഡൽ ഒരു encoder-decoder ആർക്കിടെക്ചർ ഉപയോഗിക്കുന്നു. ഇത് ഒരു ഡിജിറ്റൽ കാൻവാസിൽ റിയൽ ടൈമിൽ ടോക്കണുകളെ തിരുത്തുന്നു.

നിങ്ങൾക്ക് ഇത് ഇപ്പോൾ തന്നെ ഉപയോഗിക്കാം. ഇത് Apache 2.0 ലൈസൻസ് ഉപയോഗിക്കുന്നു. Hugging Face Transformers, vLLM എന്നിവയ്‌ക്കൊപ്പം ഇത് പ്രവർത്തിക്കുന്നു.

ഡിഫ്യൂഷൻ മോഡലുകൾ പരമ്പരാഗത AI സ്കെയിലിംഗിനെ മാറ്റിസ്ഥാപിക്കുമോ? അതോ വേഗത്തിലുള്ള ജനറേഷൻ ആവശ്യങ്ങൾക്കായി മാത്രം ഇവ ഉപയോഗിക്കപ്പെടുമോ? നിങ്ങളുടെ അഭിപ്രായങ്ങൾ പങ്കുവെക്കുക.

സ്രോതസ്സ്: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io

ഓപ്ഷണൽ ലേണിംഗ് കമ്മ്യൂണിറ്റി: https://t.me/GyaanSetuAi