Hakuna Anayetaka Modeli Yako ya Parameter 70B Tena

Ulimwengu wa AI ulikuwa ukizingatia ukubwa pekee.

Watu walikuwa wakitafuta modeli kubwa zaidi, madirisha ya muktadha (context windows) makubwa zaidi, na viwango vya utendaji (benchmarks) vikubwa zaidi. Ikiwa modeli yako haikuwa kubwa sana, hukuwa mchezaji katika uwanja huu.

Enzi hiyo inaisha.

Modeli kubwa ni za kuvutia. Lakini watu wengi hawahitaji nguvu hiyo kubwa. Msaidizi wa dashboard ya gari hahitaji kuandika mashairi. Inahitaji kuelewa "punguza AC" na kufanya kazi bila kuisha betri.

Modeli ndogo na maalum zinatawala kwa sababu kuu tano:

  • Matumizi ya kifaa (On-device use): Simu sasa zina vifaa (hardware) vya kuendesha modeli ndogo ndani ya kifaa. Msaidizi wako atafanya kazi kwenye handaki au kwenye ndege bila mtandao.
  • Faragha na kanuni: Hospitali na kampuni za sheria haziwezi kutuma data nyeti kwa API ya upande wa tatu. Kuendesha modeli ndogo kwenye vifaa vya ndani huweka data ndani ya jengo.
  • Latensi ya chini (Low latency): Gari linalojiendesha haliwezi kusubiri seva ya wingu (cloud server) ili kuamua ikiwa umbo fulani ni mtembea kwa miguu. Modeli lazima iwe pale ambapo uamuzi unafanyika.
  • Gharama nafuu: Kuendesha maombi (requests) mamilioni kwenye modeli kubwa kunaharibu faida yako. Modeli ndogo iliyorekebishwa (tuned) mara nyingi ni rahisi zaidi na endelevu zaidi.
  • Muunganisho hafifu: Katika sehemu nyingi za dunia, mtandao haupo kila wakati. Modeli ndogo huruhusu bidhaa kufanya kazi bila mtandao (offline).

Unaweza kufanya modeli ziwe ndogo kwa kutumia mbinu kuu tatu:

  • Quantization: Kupunguza usahihi wa uzito wa modeli (model weights) ili kuokoa nafasi.
  • Pruning: Kuondoa miunganisho isiyo ya lazima ambayo haiongezi thamani.
  • Knowledge distillation: Kutumia modeli kubwa kumfundisha modeli ndogo jinsi ya kuiga mantiki yake.

Mabadiliko haya yanabadilisha ujuzi unaohitajika.

Kutoa maelekezo (prompting) kwa modeli kubwa ni ujuzi mmoja. Kuchagua, kufanya marekebisho (fine-tuning), na kuweka (deploying) modeli maalum ni changamoto tofauti ya kihandisi. Inahusu kufanya maamuzi ya kulinganisha kati ya kasi, gharama, na usahihi.

Acha kujaribu kujenga kifaa kimoja kikubwa kinachofanya kila kitu vibaya. Jenga vifaa kadhaa vidogo vinavyofanya jambo moja vizuri.

Modeli ndogo siyo kupunguzwa ubora. Ni kifaa bora zaidi kwa kazi husika.

Source: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo

Optional learning community: https://t.me/GyaanSetuAi