Mwongozo wa Fedora wa Kuendesha LLM kwenye AMD NPU kwa kutumia FastFlowLM

Kuendesha LLMs kwenye AMD NPU kwa kutumia FastFlowLM - Mwongozo wa Fedora

Sasa unaweza kuendesha Large Language Models moja kwa moja kwenye AMD NPU yako ukitumia Fedora. Mwongozo huu unakuonyesha jinsi ya kuweka mfumo (stack) kwenye ASUS ROG Flow Z13 yenye chip ya Ryzen AI Max 390.

Usanidi unahitaji tabaka nne zinazofanya kazi:

• Kernel + DKMS driver (amdxdna): Hutengeneza device node na kupakia firmware.
• XRT base: AMD runtime.
• XRT NPU plugin: Inaruhusu XRT kuiona NPU.
• FastFlowLM (flm): Zana inayozalisha mifano (models).

Kwa kuwa Fedora haina vifurushi vilivyotengenezwa tayari (prebuilt packages) kwa ajili ya hili, lazima ujenge kutoka kwenye chanzo (source).

⚠️ Marekebisho Muhimu Kabla ya Kuanza

1. Washa IOMMU W