Kusambaza GLM-5.2 Kwenye Modal

GLM-5.2 ni modeli kubwa ya open-weights. Inatumia usanifu wa Mixture-of-Experts (MoE) kwa ajili ya uwezo wa kufikiri na kuandika kodi (coding) tata. Inalingana na modeli kama Claude 3.5 Sonnet katika kazi za uhandisi.

Kujiendeshea mwenyewe (self-hosting) modeli hii yenye vigezo (parameters) 700B kunahitaji 8x NVIDIA H200 GPUs. Hivi ndivyo nilivyoisambaza kwa kutumia mbinu ya serverless kwenye Modal.

Faida ya Gharama Kukodisha node maalum ya 8x H200 ni ghali.

  • RunPod inagharimu $35.12 kwa saa.
  • Modal inagharimu $36.31 kwa saa.

Hata hivyo, Modal inatoza malipo kwa sekunde. Inashuka hadi sifuri (scales to zero) unapotokuwa unaitumia. Kikao cha dakika 20 cha uendelezaji kinagharimu takriban $12.00. Unapokuwa haufanyi kazi, gharama ni $0.00.

Mabadilishano ya Quantization Huwezi kuendesha modeli kamili ya BF16 kwenye node moja. Inahitaji 1.5 TB ya VRAM. Nilijaribu mifumo tofauti ili kupata uwiano bora:

  • FP8: Inahitaji ~700 GB. Inahifadhi usahihi wa 99.2%. Hii ndiyo chaguo bora. Inatumia Hopper native Tensor Cores kwa kasi kubwa.
  • INT8: Inahitaji ~750 GB. Ni polepole kwa sababu haina uboreshaji wa vifaa (hardware optimization).
  • INT4: Inahitaji ~400 GB. Usahihi unashuka sana katika kazi za uwezo wa kufikiri.

Kwa Nini Kujiendeshea Mwenyewe?

  1. Faragha: Weka kodi yako nyeti ndani ya mtandao wako salama.
  2. Bila Kikomo: Epuka vizuizi vya kiwango (rate limits) na udhibiti wa muktadha (context throttling) unaopatikana kwenye API za umma.
  3. Cache Imara: Unadhibiti kumbukumbu ya GPU. Cache yako ya muktadha inabaki ikiwa imara na thabiti.

Mafunzo ya Kiufundi

  • Kurekebisha Makosa ya Import: Ilibidi nifute moduli ya zamani ya typing_extensions kwenye Dockerfile ili kuzuia hitilafu (crashes).
  • Kuharakisha Upakiaji: Kutumia mkakati wa prefetch ilipunguza muda wa kupakia modeli kutoka dakika 12 hadi dakika 1.
  • Tumia Eager Mode: Kuunganisha (compiling) grafu za hisabati kulichukua dakika 20. Eager mode huanza ndani ya dakika 4.5. Unaweza kuona ucheleweshaji mdogo kwenye swali la kwanza, lakini inafaa kwa ajili ya kuanza haraka.

Matokeo Modeli inashughulikia faili kubwa kwa urahisi. Niliijaribu kwa zaidi ya mistari 1,000 ya kodi ya Python. Ilichambua mantiki na kutoa uchambuzi sahihi wa usanifu. Hata ilitengeneza mchezo unaofanya kazi wenye sauti maalum kwa hatua moja tu.

Kujiendeshea mwenyewe AI ya kisasa (frontier AI) sasa inawezekana kwa watengenezaji binafsi. Unapata faragha na nguvu kwa gharama nafuu.

Chanzo: https://dev.to/silvestre-po/deploying-glm-52-fp8-700b-moe-on-modal-serverless-8x-h200s-trade-offs-and-lessons-learned-4m7i

Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi