Après la génération de textes, d’images et d’objets en 3D, une intelligence artificielle d’un nouveau genre est en cours de développement. Baptisé MusicLM, le modèle développé par Google serait capable de créer de la musique en toute autonomie. Les chercheurs de la firme nord-américaine ont détaillé leurs progrès dans un article scientifique publié le 26 janvier 2023 et relayé par TechCrunch.
De la musique en quelques phrases
Sans être le premier modèle d’IA à prétendre créer de la musique sur demande, MusicLM semble toutefois le plus abouti. Ce programme serait ainsi en capacité de générer de la musique cohérente pendant plusieurs minutes. Pour travailler, l’outil n’a besoin que d’une donnée : une description textuelle. Avec une simple phrase, il est alors possible de créer une musique d’ambiance dédiée ou une mélodie de film, par exemple. Le modèle serait beaucoup plus avancé que ses homologues avec une fidélité de haut niveau aux demandes de l’utilisateur, ainsi qu’une grande qualité audio, selon les chercheurs de Google.
Pour l’occasion, la firme de Mountain View a mis en place un site de démonstration. Il est possible d’y écouter des musiques générées virtuellement par MusicLM. Même si les hits ne sont pas dignes d’un beatmaker débutant, les premiers exemples n’en restent pas moins bluffants.
Pour reproduire la bande sonore d’un jeu d’arcade, les chercheurs n’ont donné que quelques mots à l’intelligence artificielle : “La bande sonore principale d’un jeu d’arcade. Elle est rythmée et entraînante avec un riff de guitare électrique accrocheur. La musique est répétitive et facile à mémoriser, mais avec des sons inattendus, comme des coups de cymbale ou des roulements de tambour.” Un morceau assez bien produit, avec une musicalité relative sur la longueur, est alors généré pendant 30 s.
280 000 h de musique étudiées
MusicLM est capable de produire une musique avec pour seule base des mélodies fredonnées, chantées, sifflées ou jouées sur un instrument. Une paire image/légende permet même de jouer un air. Pour entraîner l’IA en apprentissage profond, les chercheurs ont utilisé une bibliothèque de plus de 280 000 h de musique, formant une base de données largement diversifiée afin de générer des chansons à la fois cohérentes et complexes.
Seules quelques limitations techniques ont été constatées par les chercheurs. Ainsi, le modèle comprendrait mal les négations au sein du texte et peinerait à reproduire fidèlement les instructions temporelles de l’utilisateur. Pour le futur, les ingénieurs comptent développer la génération de paroles et améliorer la compréhension du texte par l’IA. Enfin, ces experts visent également à mieux découper l’audio afin de produire plus précisément une introduction, des couplets et un refrain.
Pour l’heure, Google ne prévoit pas de date de sortie publique de MusicLM.
