Weber tuvo de niño una salud frágil y sufrió en especial de una dolencia de caderas congénita. Acompañó a sus padres en los numerosos viajes que hacían, y en los que su padre daba conciertos de violín. Estos viajes le sirvieron para familiarizarse con los escenarios y el público. Su padre deseaba que Weber fuese un niño prodigio, al igual que había sido Mozart, quien en aquellos años estaba atravesando la etapa final de su vida. Así, pues, Weber aprendió a cantar y a tocar el piano desde muy pequeño, a pesar de que no pudo caminar hasta los cuatro años.