Costruita secondo i moduli dello stile liberty del XIX secolo, la villa prende il nome dal proprietario Gaetano Terni, un ebreo anconetano che la fece costruire sulle rovine di una precedente villa dall'architetto Piacentini padre, con la vicina scuderia progettata dall'architetto Gaetano Koch.

La colonia romana di Potentia venne fondata nel 184 a.C. La scelta del sito fu determinata da una serie di fattori, come la disponibilità di terre fertili; la vicinanza con lo sbocco di una vallata che costituiva un'importante via di collegamento tra l'Adriatico e il Tirreno, la presenza di una foce fluviale utilizzabile come scalo portuale.

L'imponente struttura deve il suo nome a Federico II di Svevia che nel 1229 donò le terre in cui sorgerà Porto Recanati. Gli storici sembrano concordi nell'indicare il XIII secolo quale epoca della sua fondazione o quantomeno della costruzione del mastio.