Nilijaribu kuendesha LLM Ndani ya ASUS ROG Ally Yangu

Nilijaribu kuendesha modeli ya AI ndani ya ASUS ROG Ally yangu kwa wiki chache. Nilidhani ingekuwa mradi wa kufurahisha. Badala yake, ikawa somo kuhusu mipaka ya vifaa (hardware).

Sikuitumia kama mbadala wa wingu (cloud). Niliitumia kama kifaa maalum kwa kazi ndogo ndogo. Hapa kuna nilichojifunza kuhusu kuendesha AI kwenye vifaa vya mkononi (handheld hardware).

Kikwazo cha Kumbukumbu

Vifaa vya mkononi hutumia Unified Memory Architecture. Hii ina maana kwamba CPU na GPU zinashiriki RAM moja. Kwa kawaida, GPU hupata sehemu ndogo sana ya kumbukumbu.

Ikiwa modeli yako haitoshi katika sehemu hiyo, mfumo hutumia CPU. Hii hufanya uzalishaji (generation) kuwa wa polepole sana kiasi cha kuchosha.

Suluhisho:

  • Ingia kwenye BIOS yako.
  • Ongeza UMA frame buffer kwa mkono.
  • Niliongeza yangu hadi 4 GB. Mabadiliko haya yalisaidia zaidi kuliko marekebisho mengine yoyote.

Kile Ambacho Hakifanyi Kazi

Nilijaribu kutumia zRAM ili kupata nafasi zaidi kwenye kumbukumbu yangu. Ilishindwa. Model nyingi za AI hutumia faili za GGUF ambazo tayari zimesimbiwa. Huwezi kuzisimba zaidi ili kupata nafasi.

Pia nilijaribu kutumia disk swap ili kusaidia. Swap haifanyi mambo kuwa ya haraka. Inafanya yawe hayawezi