La existencia del castillo como tal se atestigua ya el año 1500, cuando Pietro Gromo, ilustre y reconocido noble de zona, compró a los Avogadro de Valdengo el feudo, al cual ya por aquel entonces se agregaba una torre antigua que databa del año 1000.
Los nuevos feudatarios extendieron la construcción agrengándole una caja fuerte y una torre redonda. Esta última, funcionaba simplemente como torre de observación y no como elemento defensivo: Ternengo ha sido desde siempre un lugar muy tranquilo y pacífico, junto a sus fértiles tierras y unos habitantes muy laboriosos y emprendedores.
De esta manera, el castillo asume una característica inusual, una arquitectura distinta y poco vista, en los parajes de “ villa castellata”.

Hoy en día, no obstante las modificaciones y las sucesivas reestructuraciones aportadas a lo largo de los siglos, restauraciones que ciertamente han modificado su aspecto primitivo y tradicional, se puede admirar el castillo en todo su esplendor y su gracia original, puesto que el mismo se encuetra muy bien conservado.
Pero existe una característica que ha permanecido inmutable en el tiempo ... la atmósfera de paz, tranquilidad y serenidad que se percibe en su interior, como si sus muros fueran fieles guardianes de antiguas historias vividas, silenciosos testigos de existencias pasadas que aún moran el lugar ... tal como lo atestigua la leyenda grabada en la vuelta de la escalera “Opus,opes,studium,parcitas”.