പെലിക്കൻ ബെഞ്ച്മാർക്ക്: AI പരിണാമത്തിന്റെ 2 വർഷങ്ങൾ
2024 ഒക്ടോബറിൽ, സൈമൺ വില്ലിസൺ പതിനാറ് LLM-കൾക്ക് ഒരു പ്രോംപ്റ്റ് നൽകി: "സൈക്കിൾ ചവിട്ടുന്ന ഒരു പെലിക്കന്റെ SVG നിർമ്മിക്കുക."
കഴിഞ്ഞ രണ്ട് വർഷമായി അദ്ദേഹം ഓരോ പുതിയ മോഡലിലും ഇതേ പ്രോംപ്റ്റ് പരീക്ഷിച്ചു വരികയാണ്. ഇപ്പോൾ അദ്ദേഹത്തിന്റെ പക്കൽ 66 വ്യത്യസ്ത മോഡലുകളിൽ നിന്നുള്ള 103 ചിത്രങ്ങളുണ്ട്.
ഞങ്ങൾ ഈ ചിത്രങ്ങളെല്ലാം ഒരിടത്ത് ശേഖരിച്ചു: pelicanzoo.ai.
ഈ പരീക്ഷണം AI-യെ കുറിച്ച് നമ്മെ എന്താണ് പഠിപ്പിക്കുന്നത്:
- SVG എന്നത് കോഡാണ്, പിക്സലുകളല്ല. LLM-കൾക്ക് കാണാൻ കഴിയില്ല, പക്ഷേ അവയ്ക്ക് കോഡ് എഴുതാൻ കഴിയും. കോർഡിനേറ്റുകളും (coordinates) റേഡിയസുകളും (radii) മാത്രം ഉപയോഗിച്ചാണ് അവ ഒരു ചിത്രം നിർമ്മിക്കേണ്ടത്.
- ഈ ദൗത്യം പ്രയാസകരമാണ്. മനുഷ്യർക്ക് പോലും ഓർമ്മയിൽ നിന്ന് സൈക്കിളുകൾ വരയ്ക്കുന്നത് ബുദ്ധിമുട്ടാണ്. പെലിക്കനുകൾക്ക് സൈക്കിൾ ചവിട്ടാൻ അനുയോജ്യമായ രൂപവുമില്ല.
- ആദ്യകാല മോഡലുകൾ രസകരമായ രീതിയിലാണ് പരാജയപ്പെട്ടത്. ചിലത് ത്രികോണങ്ങളും വട്ടങ്ങളും വരച്ചു. മറ്റു ചിലത് സിങ്കുകൾ പോലെയോ ട്രാക്ടറുകൾ പോലെയോ ഉള്ള രൂപങ്ങളാണ് വരച്ചത്.
- കപ്പാസിറ്റി ട്രാക്കിംഗിൽ (Capability tracking) മാറ്റം വന്നു. ആദ്യ വർഷത്തിൽ, മികച്ച പെലിക്കൻ ചിത്രങ്ങൾ എന്നാൽ മികച്ച കോഡിംഗ് നൈപുണ്യം എന്നാണ് അർത്ഥം. എന്നാൽ ഇപ്പോൾ ആ ബന്ധം നിലവിലില്ല.
- ചെറിയ മോഡലുകൾക്കും വിജയിക്കാം. ഒരു ലാപ്ടോപ്പിൽ പ്രവർത്തിക്കുന്ന ചെറിയൊരു മോഡൽ, ഒരു വലിയ ഫ്ലാഗ്ഷിപ്പ് മോഡലിനേക്കാൾ മികച്ച പെലിക്കൻ ചിത്രം ഒരിക്കൽ വരച്ചിട്ടുണ്ട്.
എന്തിനാണ് ഇങ്ങനെയൊരു "വിഡ്ഢിത്ത" പരീക്ഷണം തുടരുന്നത്?
ഇതിന് രണ്ട് പ്രായോഗിക ലക്ഷ്യങ്ങളുണ്ട്:
- ഒരു മോഡൽ പ്രവർത്തിക്കുന്നുണ്ടെന്ന് ഇത് തെളിയിക്കുന്നു. ഒരു പെലിക്കൻ ചിത്രം പോസ്റ്റ് ചെയ്യുന്നത്, നിങ്ങൾ വാർത്തകൾ വായിക്കുക മാത്രമല്ല, മോഡൽ യഥാർത്ഥത്തിൽ പ്രവർത്തിപ്പിച്ചു എന്ന് കാണിക്കുന്നു.
- ഇത് മറഞ്ഞിരിക്കുന്ന വിവരങ്ങൾ വെളിപ്പെടുത്തുന്നു. ഒരു മോഡൽ എത്ര ടോക്കണുകൾ ഉപയോഗിക്കുന്നുവെന്നും ഒരു ലളിതമായ ചിത്രം നിർമ്മിക്കാൻ എത്ര ചിലവാകുമെന്നും നിങ്ങൾക്ക് ഇതിലൂടെ കാണാൻ കഴിയും.
പെലിക്കൻ ടെസ്റ്റ് ഇപ്പോൾ മികച്ച AI-കളെ തരംതിരിക്കാനുള്ള ഒരു മാർഗ്ഗമല്ല. ഇതൊരു ചടങ്ങായി മാറിയിരിക്കുന്നു. ഇത് ഒരു മോഡലിന്റെ വ്യക്തിത്വം വെളിപ്പെടുത്തുന്നു. ഒരു മോഡൽ പക്ഷിയുടെ തലയിൽ ഒരു ചെറിയ തൊപ്പി വെക്കുന്നത് കാണാം, എന്നാൽ പക്ഷികൾക്ക് സൈക്കിൾ ചവിട്ടാൻ കഴിയില്ല എന്ന കാരണത്താൽ മറ്റൊരു മോഡൽ സൈക്കിൾ വരയ്ക്കാൻ കൂട്ടാകില്ലായിരിക്കാം.
ഒരു പക്ഷിയെ വരയ്ക്കാൻ വേണ്ടി മാത്രം ഒരു മോഡൽ 13,000 ടോക്കണുകളും 25 സെന്റും ഉപയോഗിച്ചു.
കോഡിലൂടെ AI-യുടെ ചരിത്രം ഈ ചിത്രങ്ങൾ കാണിച്ചുതരുന്നു.
ചിത്രങ്ങൾ കാണാൻ pelicanzoo.ai സന്ദർശിക്കുക.