Timeline Studio, un éditeur vidéo open-source conçu avec React, exécute désormais toutes ses fonctionnalités d'IA entièrement à l'intérieur du navigateur. Le code de l'auteur permet aux utilisateurs de générer des voix off, de transcrire l'audio, de détecter des sujets, de créer des portraits animés et d'exporter des clips finis sans jamais envoyer de fichier à un serveur distant.

Pourquoi un éditeur "local-first" est important

Les outils vidéo classiques basés sur l'IA transmettent les séquences brutes vers des services cloud, puis attendent que le serveur exécute des modèles de speech-to-text, des pipelines d'analyse d'image ou des générateurs de deep-fake. Cet aller-retour ajoute des secondes ou des minutes de latence et oblige les utilisateurs à confier des médias potentiellement sensibles à un tiers. En effectuant chaque calcul sur l'appareil client, Timeline Studio élimine ces préoccupations de confidentialité et évite les coûts récurrents de l'inférence basée sur le cloud.

Comment le navigateur est devenu le moteur de calcul

Exécuter des réseaux de neurones lourds dans une page web ne se résume pas à simplement charger un fichier de modèle. Le navigateur impose des limites strictes sur la mémoire, l'utilisation du CPU et l'ordonnancement des threads. L'auteur a découvert qu'une implémentation réussie devait traiter le navigateur comme un véritable système d'exploitation : allouer la mémoire avec soin, mettre les données en cache intelligemment et décharger le travail vers des threads d'arrière-plan.

Principales avancées techniques

  • Chemins de modèles spécifiques aux tâches – Différentes tâches d'IA utilisent l'environnement d'exécution le plus approprié. La transcription vocale utilise Whisper compilé en WebAssembly (WASM), tandis que le générateur de portraits neuronaux utilise WebGPU, l'API de calcul graphique émergente du navigateur.
  • Web Workers pour les tâches lourdes – L'inférence de modèle, le décodage audio et d'autres étapes gourmandes en CPU s'exécutent dans des workers dédiés. Le thread de l'interface utilisateur reste réactif, de sorte que le défilement de la timeline ne fige jamais l'écran.
  • **Chargement différé