MMAudio – Un outil pour synchroniser l'audio et la vidéo
Des chercheurs de l’Université de l’Illinois à Urbana-Champaign et de Sony AI viennent de dévoiler une prouesse technique particulièrement impressionnante dans le domaine de l’IA générative. En effet, leur nouveau projet baptisé MMAudio permet de générer automatiquement des bandes sonores parfaitement synchronisées avec n’importe quelle vidéo.
Contrairement à la plupart des solutions existantes, qui se contentent souvent de superposer maladroitement des effets sonores sur les vidéos, MMAudio innove en adoptant une approche multimodale combinant texte et vidéo. Le système analyse en parallèle le contenu visuel et les descriptions textuelles pour comprendre précisément ce qui se passe à l’écran et générer des sons réalistes et cohérents.
Source: Korben