Listen

Description

音樂可以從一團雜訊裡雕出來!這集小皮介紹擴散模型(Diffusion Model):訓練時把音樂一步步加雜訊,像墨水在水裡擴散,AI學的是猜出每一步加了哪些雜訊;生成時倒過來,從純雜訊出發、一步步減掉雜訊,再用文字描述指路。2020年的DDPM論文讓這個方法大紅;2022年底的Riffusion拿畫圖用的Stable Diffusion來畫頻譜圖,證明聲音也能用畫的;2024年開源的Stable Audio Open在壓縮過的潛空間裡去噪(Latent Diffusion),用T5讀文字、Transformer去噪,最多生成47秒、44.1 kHz立體聲,訓練素材約48萬筆創用CC授權錄音,來自Freesound與Free Music Archive。

參考資料:
Denoising Diffusion Probabilistic Models (DDPM) - arXiv:https://arxiv.org/abs/2006.11239
Diffusion model - Wikipedia:https://en.wikipedia.org/wiki/Diffusion_model
Riffusion - Wikipedia:https://en.wikipedia.org/wiki/Riffusion
Stable Audio Open 1.0 - Hugging Face:https://huggingface.co/stabilityai/stable-audio-open-1.0
Stable Audio Open paper - arXiv:https://arxiv.org/abs/2407.14358