Інженери Google представили нейромережеву модель MusicLM, що генерує музику, опираючись на заданий текстовий опис. Викладати її у відкритий доступ компанія не планує, принаймні, поки що, але поділилася результатами її роботи.
Приклади її роботи (близько 5.5 тис. мелодій) можна оцінити на спеціальній сторінці. Автори відзначили, що MusicLM "перевершує попередні системи як за якістю звуку, так і за відповідністю текстовому опису".
Нейромережа навчена на 280 тис. годинах музики та генерує мелодії на частоті 24 кГц, яка залишається незмінною протягом декількох хвилин. Існує навіть варіант генерації вокалу, але в цьому MusicLM поки що недостатньо вправний – у більшості випадків синтезована мова більше схожа на безглуздя.
MusicLM також здатна відтворити в аудіо не тільки жанр і музичні інструменти, а й необхідний настрій композиції. Так, одна з пісень, яку створила нейромережа, опиралась на ось такий опис: "злиття реггетона та електронної танцювальної музики з космічним, потойбічним звучанням. Викликає відчуття загубленості в космосі".
— Product Hunt 😸 (@ProductHunt) January 27, 2023
Крім того, дослідники змусили MusicLM генерувати музику за описом картин Сальвадора Далі, Анрі Матісса, Едварда Мунка, Пабло Пікассо та інших відомих художників.
Раніше УНІАН ділився добіркою нейромереж, які малюють за словами. За останні пару років генеративні картини пройшли шлях від химерних абстракцій до якісних зображень, які перемагають у конкурсі мистецтв.
А не так давно серед українських користувачів "завірусилася" нейромережа, яка робить з вас героя аніме. Попри те, що весь інтерфейс китайською мовою, сервіс максимально простий у використанні.
