𝗩𝗼𝘂𝘀 𝗻𝗲 𝗽𝗼𝘂𝘃𝗲𝘇 𝗽𝗮𝘀 é𝘃𝗮𝗹𝘂𝗲𝗿 𝗹'𝗜𝗔 𝗮𝘃𝗲𝗰 𝗱𝗲 𝘃𝗿𝗮𝗶𝗲𝘀 𝗿é𝘂𝗻𝗶𝗼𝗻𝘀
Je voulais trouver le meilleur outil de prise de notes par IA. J'ai comparé Granola, Fathom et Otter.
J'ai commencé par enregistrer une vraie réunion. J'ai passé l'enregistrement dans les trois outils. Puis j'ai réalisé que mon expérience était inutile.
Pour noter une transcription, vous avez besoin d'une version correcte pour la comparer. Dans une vraie réunion, le seul enregistrement de ce qui s'est passé est la transcription elle-même. J'étais en train de noter l'examen en utilisant les propres réponses des élèves. Je n'avais pas de corrigé.
Si vous manquez de vérité terrain, fabriquez-la.
J'ai d'abord écrit un script pour une réunion à deux personnes. J'ai utilisé ElevenLabs pour transformer ce texte en audio. Désormais, les mots exacts sont ceux que j'ai tapés. J'ai un corrigé parfait.
J'ai rempli le script de termes difficiles :
- Labels de trimestres (Q3, Q2)
- Pourcentages (5,2 %, 6,8 %)
- Montants en dollars (16 $ à 19 $)
- Jargon (churn, cohort, SSO, p95)
- Noms et échéances
Voici ce que j'ai appris des résultats :
Les trois outils sont excellents en termes de précision brute. Otter a atteint 99 % de précision. Fathom était le plus précis. Granola a conservé le sens mais a brouillé quelques lignes.
La précision brute est la mauvaise métrique. Ce n'est qu'une base de référence. Les vraies différences apparaissent dans deux domaines :
- Tokens significatifs : Otter avait une précision élevée mais a transformé « Q3 » en « Q ». Dans une réunion d'affaires, cette erreur ruine les données.
- Attribution des locuteurs : Otter était le seul outil à identifier correctement qui parlait et quand. Granola m'a donné un long flux de texte sans noms.
Le « meilleur » outil dépend de votre objectif :
- Utilisez Otter si vous avez besoin de savoir qui a dit quoi.
- Utilisez Fathom si vous avez besoin de chiffres et de jargon parfaits.
- Utilisez Granola si vous voulez une expérience sans bot pour vos notes personnelles.
Vous pouvez utiliser cette méthode pour tout test de speech-to-text. Scénarisez votre audio pour obtenir un test reproductible. Ajoutez des mots difficiles pour voir où les modèles échouent. Utilisez le même clip pour voir si un fournisseur améliore réellement son modèle au fil du temps.
L'audio synthétique est propre et facile. Ce n'est pas une simulation parfaite d'une réunion désordonnée à quatre personnes. Mais cela fournit une base de référence propre pour comparer les outils entre eux.
Communauté d'apprentissage optionnelle: https://t.me/GyaanSetuAi