𝗠𝗶𝘅𝘁𝘂𝗿𝗲 𝗼𝗳 𝗘𝘅𝗽𝗲𝗿𝘁𝘀 (𝗠𝗼𝗘): 𝗛𝗼𝘄 𝗜𝘁 𝗪𝗼𝗿𝗸𝘀 𝗮𝗻𝗱 𝗪𝗵𝗲𝗻 𝘁𝗼 𝗨𝘀𝗲 𝗜𝘁

You want to scale from a 7B model to a 70B model without buying four more GPUs.

Someone suggests Mixture of Experts (MoE). They claim you get 70B performance with only 7B compute.

It sounds like a free lunch. But there is a catch.

How does it work?

A dense transformer like Llama 3.2 uses 100 percent of its parameters for every token. If you scale from 7B to 70B, you multiply both memory and compute by 10x.

MoE splits these two. The model stores more parameters (higher memory cost) but uses only a fraction of them for each token (lower compute cost).

The Trade-off:

• Dense 7B: 7B total params | 7B active | 7B compute | 14 GB memory • Dense 70B: 70B total params | 70B active | 70B compute | 140 GB memory • MoE 45B: 45B total params | ~13B active | ~14B compute | ~90 GB memory

The catch: You still pay the memory cost of a large model. You cannot run Mixtral on a single 24 GB GPU. You need enough VRAM to hold all the experts, even the ones not being used.

The Architecture:

In a sparse MoE, the standard Feed-Forward Network (FFN) is replaced by multiple "expert" FFNs and a learned router.

  1. The router takes a token.
  2. It assigns a score to each expert.
  3. It selects the top-k experts (for Mixtral, k=2).
  4. It runs the token through those experts only.
  5. It combines the results.

The router is not a manual scheduler. It is a learned layer. It learns to send math tokens to one expert and code tokens to another.

The Training Challenge:

The biggest risk is router collapse. Without help, the router might send every token to the same two experts. Those experts get better, so the router sends even more traffic to them. The other experts become useless.

Engineers use an auxiliary load-balancing loss to fix this. It penalizes the model if it does not use all experts equally.

When to avoid MoE:

• You need consistent latency: MoE has higher variance in response times. • You have limited VRAM: If you only have one GPU under 48 GB, stick to dense models. • You are building tiny models: If your model is under 3B parameters, the overhead is too high. • You need simple infrastructure: MoE requires complex expert parallelism and custom kernels.

MoE is best when you target a dense baseline above 30B parameters and have the memory to support it.

Mixture of Experts (MoE): cosa succede realmente sotto il cofano e quando conviene usarlo

Hai mai notato che i modelli linguistici più grandi sembrano diventare incredibilmente più intelligenti, ma non necessariamente più lenti da usare? La risposta risiede spesso in un'architettura chiamata Mixture of Experts (MoE).

Cos'è la Mixture of Experts (MoE)?

Per capire la MoE, dobbiamo prima comprendere la differenza tra modelli densi e modelli sparsi.

Modelli Densi vs. Modelli Sparsi

In un modello denso tradizionale (come GPT-3), ogni singolo token di input viene elaborato da tutti i parametri del modello. Se il modello ha 100 miliardi di parametri, ogni operazione coinvolge tutti i 100 miliardi. Questo è estremamente potente, ma diventa incredibilmente costoso dal punto di vista computazionale man mano che il modello cresce.

Un modello sparso, come la MoE, invece, non utilizza tutti i suoi parametri per ogni operazione. Invece, il modello è composto da diversi sotto-moduli chiamati "esperti" (experts). Per ogni token in input, il modello attiva solo un piccolo sottoinsieme di questi esperti.

I componenti chiave della MoE

L'architettura MoE si basa su due componenti principali:

  1. Gli Esperti (Experts): Sono piccole reti neurali specializzate che risiedono all'interno del modello più grande. Sebbene ogni esperto sia in grado di elaborare informazioni, nel corso dell'addestramento tendono a specializzarsi in determinati tipi di pattern o conoscenze.
  2. La Gating Network (Il Router): Questo è il "cervello" della MoE. Quando un token entra nel modello, la gating network decide quali esperti sono più adatti a elaborarlo. In pratica, funge da sistema di smistamento che instrada il token verso gli esperti più competenti.

Come funziona il processo (Sotto il cofano)

Ecco il flusso di lavoro semplificato:

  1. Input: Un token viene presentato al modello.
  2. Routing: La gating network analizza il token e calcola dei pesi per ogni esperto disponibile.
  3. Selezione (Top-k): Il sistema seleziona i $k$ esperti con i pesi più alti (spesso $k=1$ o $k=2$).
  4. Elaborazione: Solo gli esperti selezionati eseguono il calcolo per quel token specifico.
  5. Combinazione: I risultati degli esperti selezionati vengono combinati (solitamente tramite una media ponderata basata sui pesi della gating network) per produrre l'output finale.

Perché la MoE è un "Game Changer"?

1. Efficienza Computazionale

Il vantaggio principale è che puoi avere un modello con un numero enorme di parametri totali (ad esempio, 1 trilione), ma con un costo di inferenza (il calcolo per ogni token) molto simile a quello di un modello molto più piccolo. Questo perché, per ogni token, utilizzi solo una frazione dei parametri totali.

2. Scalabilità

La MoE permette di scalare la conoscenza del modello senza un aumento lineare della latenza. Puoi aggiungere più esperti per coprire più domini di conoscenza senza rallentare drasticamente la generazione del testo.

Le Sfide e i Compromessi

Non è tutto oro quel che luccica. La MoE presenta delle sfide significative:

  • Utilizzo della VRAM: Anche se il calcolo è efficiente, tutti gli esperti devono comunque risiedere nella memoria (VRAM) della GPU. Ciò significa che un modello MoE richiede molta più memoria rispetto a un modello denso di pari capacità di calcolo.
  • Instabilità dell'addestramento: Addestrare una gating network affinché distribuisca il carico in modo equo tra gli esperti è difficile. Se non gestita bene, la rete potrebbe finire per utilizzare sempre gli stessi pochi esperti, lasciando gli altri inutilizzati (un problema noto come expert collapse).
  • Complessità del sistema: La gestione del routing e la comunicazione tra esperti in sistemi distribuiti aggiungono un livello di complessità ingegneristica notevole.

Conclusione

La Mixture of Experts è una tecnica potente che permette di bilanciare la vastità della conoscenza con l'efficienza computazionale. È la tecnologia che sta permettendo ai modelli moderni di diventare sempre più capaci senza rendere l'inferenza impossibile per l'hardware attuale.

Optional learning community: https://t.me/GyaanSetuAi