第38集說Stable Audio Open在「壓縮過的空間」裡做擴散,那個空間在哪裡?這集小皮介紹潛空間(Latent Space)與自編碼器(Autoencoder):編碼器把聲音壓小、解碼器再還原,中間最窄的瓶頸只放得下精華,像出國用真空壓縮袋打包行李。瓶頸裡的數字就像地圖座標,相像的聲音會靠在一起——長笛和雙簧管是鄰居,鼓聲住在另一區,這是模型自己整理出來的。2017年Google Magenta的NSynth用約30萬個單音訓練,在長笛和風琴之間取中間點,就得到世界上本來不存在的新音色,還做成實體合成器NSynth Super;2018年MusicVAE能在兩段旋律之間慢慢變過去。2013年的變分自編碼器(VAE)讓每個聲音變成一團雲,地圖沒有破洞。Stable Audio Open用VAE把44.1 kHz立體聲(每秒88,200個數字)壓成每秒21.5格×64個數字,小了約64倍,在小地圖上擴散再解碼,這就是潛在擴散(Latent Diffusion)。最後比較EnCodec(瓶頸後接RVQ變號碼、適合接龍)和Stable Audio(連續座標、適合擴散)。
參考資料:
Auto-Encoding Variational Bayes(Kingma & Welling 2013):https://arxiv.org/abs/1312.6114
Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders(NSynth):https://arxiv.org/abs/1704.01279
MusicVAE(Roberts et al. 2018):https://arxiv.org/abs/1803.05428
High-Resolution Image Synthesis with Latent Diffusion Models:https://arxiv.org/abs/2112.10752
Stable Audio Open:https://arxiv.org/abs/2407.14358