Kipimo cha Pelican: Miaka 2 ya Mageuzi ya AI
Mnamo Oktoba 2024, Simon Willison aliwapa LLM kumi na sita amri (prompt) moja: "Tengeneza SVG ya pelican akiendesha baiskeli."
Ameitumia amri hii hiyo kwenye kila modeli mpya kwa miaka miwili. Sasa ana michoro 103 kutoka kwa modeli 66 tofauti.
Tulikusanya picha hizi sehemu moja: pelicanzoo.ai.
Hivi ndivyo jaribio hili linatufundisha kuhusu AI:
- SVG ni kodi, si pikseli. LLM haziwezi kuona, lakini zinaweza kuandika kodi. Lazima zijenge picha kwa kutumia uratibu (coordinates) na radii pekee.
- Kazi hii ni ngumu. Baiskeli ni vigumu kwa binadamu kuzichora kutoka kwenye kumbukumbu. Pelican hawana umbo sahihi la kuzipanda.
- Modeli za awali zilifeli kwa njia za kuchekesha. Baadhi zilichora pembetatu na duara. Nyingine zilichora maumbo yanayofanana na sinki au trekta.
- Ufuatiliaji wa uwezo ulibadilika. Katika mwaka wa kwanza, pelican bora zaidi ilimaanisha ujuzi bora wa kodi. Sasa, uhusiano huo umepotea.
- Modeli ndogo zinaweza kushinda. Modeli ndogo inayojiendesha kwenye laptop mara moja ilichora pelican bora zaidi kuliko modeli kubwa ya kielelezo (flagship model).
Kwa nini uendelee kufanya jaribio la "kijinga"?
Inatumika kwa madhumuni mawili ya kivitendo:
- Inathibitisha kuwa modeli inafanya kazi. Kuposti pelican kunaonyesha kuwa uliitumia modeli hiyo kweli badala ya kusoma habari tu.
- Inafichua data iliyofichika. Unaweza kuona ni tokeni ngapi modeli inatumia na gharama kiasi gani kutengeneza picha moja rahisi.
Jaribio la pelican si njia tena ya kupanga AI bora zaidi. Ni ibada. Inakuonyesha haiba ya modeli. Unaweza kuona modeli moja ikimvisha ndege kofia ndogo, wakati nyingine inakataa kabisa kuchora baiskeli kwa sababu ndege hawawezi kuendesha.
Modeli moja hata ilitumia tokeni 13,000 na senti 25 ili tu kuchora ndege mmoja.
Michoro hiyo inaonyesha historia ya AI kupitia kodi.
Tembelea pelicanzoo.ai kuona mkusanyiko huo.