Microsoft Mirage: Het oplossen van het ruimtelijk geheugenprobleem in AI-video

Video-wereldmodellen evolueren van eenvoudige clipgeneratoren naar geavanceerde simulators, maar ze lijden vaak aan "ruimtelijk geheugenverlies" (spatial amnesia). Microsoft Research heeft Mirage onthuld, een baanbrekend video-wereldmodel dat een persistent 3D-begrip van omgevingen behoudt, waardoor objecten en lay-outs consistent blijven, zelfs tijdens complexe cameramanoeuvres.

Het overwinnen van de pixelgebaseerde geheugenbottleneck

Huidige state-of-the-art systemen zoals Voyager, WonderWorld en Spatia proberen ruimtelijke consistentie op te lossen door gebruik te maken van 3D-puntenwolken die zijn samengesteld uit RGB-kleurgegevens. Hoewel effectief, creëren deze methoden een "dubbele bottleneck": ze vereisen enorme rekenkracht om puntenwolken te renderen en lijden aan informatielekken telkens wanneer gegevens worden vertaald tussen de pixelruimte en de interne feature-ruimte van het model.

Mirage introduceert een paradigmaverschuiving door gebruik te maken van Latent Spatial Memory. In plaats van zichtbare kleurpunten op te slaan, slaat Mirage de interne beeldkenmerken (features) op die diffusiemodellen al gebruiken. Door deze kenmerken direct naar de 3D-ruimte te mappen, kan het model het geheugen projecteren op een doelcamera-weergave en dit aan de generator doorgeven, zonder de kostbare render-en-encode-lus die bij zijn voorgangers nodig was.

Technische architectuur: voortbouwend op Wan2.2

De onderzoekers hebben Mirage ontwikkeld door voort te bouwen op het open-source videomodel van Alibaba, Wan2.2. Om dit nieuwe ruimtelijke bewustzijn te integreren, implementeerden ze een gespecialiseerde add-on module en maakten ze gebruik van LoRA (Low-Rank Adaptation) adapters voor fine-tuning.

Het systeem werkt in segmenten, waarbij de latent cache wordt geïnitialiseerd vanuit een eerste frame. Om ervoor te zorgen dat het geheugen stabiel blijft, maakt Mirage gebruik van een geavanceerd filtermechanisme. Voordat er naar de cache wordt geschreven, verwijdert het systeem bewegende objecten en de lucht, zodat alleen statische, betrouwbare geometrie in het langetermijngeheugen wordt opgeslagen. Dit voorkomt "ghosting" of geometrische vervormingen veroorzaakt door dynamische elementen.

Benchmarking van efficiëntie en prestaties

De prestatiewinst van Mirage is aanzienlijk, zowel wat betreft nauwkeurigheid als resourcebeheer. In de WorldScore benchmark presteerde Mirage beter dan Spatia, dat vertrouwt op kleurgebaseerd geheugen, en overtrof het algemene videogeneratoren zoals Wan2.1 en CogVideoX ruimschoots.

In "closed-loop" tests met de RealEstate10K-dataset—waarbij een camera terugkeert naar zijn startpunt—toonde Mirage een superieur vermogen om oppervlakteconsistentie en ruimtelijke structuur te behouden. Het meest opvallend is dat Mirage de schaalbaarheidsproblemen oplost die andere modellen teisteren:

• Snelheid: Het biedt tot 10,57x snellere generatie dan kleurgebaseerde concurrenten.
• Geheugenefficiëntie: Het gebruikt tot 55x minder geheugen door te werken in een compacte latente resolutie in plaats van de volledige pixelgrootte.
• Compute-stabiliteit: Terwijl de resourcebehoefte van concurrerende modellen met elk nieuw frame toeneemt, blijven de compute-kosten per frame van Mirage nagenoeg gelijk.

De toekomst van navigeerbare AI-omgevingen

Hoewel Mirage zeer effectief is voor statische interieurs, merkten de onderzoekers een huidige beperking op: omdat bewegende objecten worden weggefilterd om de geometrische integriteit te behouden, zijn drukke scènes met veel dynamische inhoud minder geoptimaliseerd. Het oplossen van de opslag van dynamische inhoud blijft de volgende uitdaging voor het team.

Terwijl de industrie verschuift van single-clip generatie (zoals Google's Veo) naar volledig interactieve, navigeerbare omgevingen (zoals Google DeepMind's Genie), biedt Mirage een cruciale blauwdruk voor hoe AI de wereld die het simuleert kan "onthouden".

Kernpunten

• Latent boven pixel: Mirage omzeilt de computationele flessenhals van RGB-puntenwolken door 3D-ruimtelijk geheugen direct op te slaan in de interne latente ruimte van het model.
• Enorme efficiëntiewinst: Het model bereikt een tot 10,57x snellere generatie en gebruikt 55x minder geheugen vergeleken met traditionele kleurgebaseerde geheugensystemen.
• Ruimtelijke consistentie: Door dynamische objecten te filteren en zich te concentreren op statische geometrie, behoudt Mirage stabiele omgevingen tijdens lange, complexe camerabewegingen en closed-loop-bewegingen.