És un casal construït durant el període gòtic (segles XIV i XV), però amb restes de construccions anteriors, com la torre del nord-est, datada al segle XI.
Al segle XV, el senyor del Castell, Antoni de Vilatorta, autoritzat pel rei Alfons IV, va modificar el Castell de Plegamans.
Vilatorta féu construir les dues grans sales del sud, les dependències de la part nord i el pati central de les dues plantes. Hi destaquen les finestres coronelles d'arc retallat i lobulat.
L'edifici ha anat canviant al llarg del temps. Cap als anys seixanta, quan el Castell quedà deshabitat, les seves condicions empitjoraven progressivament, fins i tot patint espolis de tota mena.
Cap al 1987, el Castell va arribar a un estat límit, iniciant-se un ensorrament aparentment irreversible. Poc temps després, aquest fet impulsà l'inici d'importants obres de reconstrucció, les quals van convertir el Castell el que coneixem actualment i que acull diverses activitats cíviques i culturals.
Tot i això, l'any 1987, una gran pancarta vermella penjava de la paret més alta del castell, fruit de la preocupació de la gent del poble, en la qual es podia llegir: "Salvem-lo". Així mateix, van córrer pel poble uns adhesius amb el mateix eslògan.
A la planta noble del Castell de Plegamans, podem trobar l'arxiu de la Fundació Folch i Torres amb material biogràfic i bibliogràfic dels cinc germans Folch i Torres: Manuel, Lluís, Josep Maria, Ignasi i Joaquim.
