𝗠𝗮𝘄𝗮𝘇𝗼 𝗠𝗮𝘁𝗮𝘁𝘂 𝗬𝗮𝗹𝗶𝘆𝗼𝘄𝗲𝘇𝗲𝘀𝗵𝗮 𝗔𝗜 𝘆𝗮 𝗞𝗶𝘀𝗮𝘀𝗮
AI ya kisasa inaonekana kama uchawi. Unachapa sentensi na mashine inaandika jibu. Inaonekana kama kitu cha ajabu sana. Lakini si hivyo.
Muundo (architecture) nyuma ya karibu kila modeli unategemea marekebisho ya kawaida ya kihandisi. Marekebisho haya yalitatua matatizo mahususi. Hakuna siri ya ajabu. Kuna tu marekebisho matatu muhimu.
- Skip Connections
Karibu mwaka 2014, wahandisi walijaribu kufanya neural networks iwe na tabaka nyingi zaidi. Walifikiri tabaka nyingi zaidi zingetaa matokeo bora zaidi. Walikosea. Mitandao yenye tabaka nyingi mara nyingi ilifanya kazi vibaya kwa sababu ishara ya makosa (error signal) haikuweza kufika kwenye tabaka za awali. Ishara hiyo ingepungua hadi kufikia sifuri au kuongezeka kupita kiasi.
Skip connections zilirekebisha hili. Badala ya kulazimisha kila tabaka kubadilisha ingizo (input), unaruhusu ingizo kuruka mbele. Unaongeza ingizo asilia kwenye matokeo (output).
Hii inafanya mambo mawili:
- Inafanya "kutofanya kitu" iwe rahisi. Ikiwa tabaka halileti thamani yoyote, ingizo linapita bila kuguswa.
- Inatengeneza njia ya moja kwa moja kwa ishara ya makosa. Ishara hiyo inapata njia ya haraka kuelekea kwenye tabaka za awali.
- Normalization
Takwimu zinapopita kwenye mtandao, kiwango cha namba huanza kubadilika. Tabaka moja linaweza kutoa 0.01 huku linalofuata likitoa 5000. Namba zinapofikia viwango hivi vya juu na chini sana, ujifunzaji unakoma.
Normalization inalainisha kiwango. Inarudisha namba karibu na sifuri na kuzifanya ziwe katika kiwango kinachofanana. Hii inakuwezesha kutumia viwango vya juu vya ujifunzaji (learning rates) na kufundisha haraka zaidi. Inafanya hesabu ziendelee kufanya kazi.
- Attention
Modeli za zamani zilikuwa zinasoma maandishi neno moja baada ya lingine. Hii ilikuwa polepole na ilisahaulika haraka. Ili kuunganisha neno la kwanza na la mwisho, taarifa ililazimika kupitia kila neno lililopo katikati. Kufikia mwisho, mwanzo ulikuwa um