Nel 1229 l’imperatore Federico II di Svevia (Jesi, 1194 - Fiorentino di Puglia, 1250) concede ai recanatesi le terre comprese tra i fiumi Musone e Potenza e l’autorizzazione a costruire un porto per il commercio ed un castello per la difesa della costa. Nasce così il porto di Recanati che costituisce il primo nucleo storico della città moderna. Il castello nel suo aspetto attuale è frutto di fasi costruttive intraprese in tempi successivi intorno alla prima costruzione della torre quadrangolare di levante. Le mura di cinta sono dotate di un camminamento di ronda attualmente non praticabile ma custodito quasi integralmente. Una seconda torre di controllo venne aggiunta sul lato sud-occidentale nel XIV secolo, probabilmente per il controllo della strada che conduceva le merci dal porto all’entroterra. La corte interna del castello ha ospitato la comunità sorta intorno alle attività portuali almeno fino al XVI secolo inoltrato. In seguito l’abitato si espande fuori dal castello lungo la fascia costiera e assume l’aspetto che mantiene ancora oggi.

Il primo piano del castello ospita, negli ambienti che originariamente erano destinati alle attività legata alle attività portuali, la Pinacoteca Comunale “A. Moroni”, e al piano terra la mostra Archeologica permanente ‘Storia di un paesaggio rivelato’, la mostra " La valigia del tenore ", omaggio a Beniamino Gigli, e una sala per mostre temporanee. La corte del castello ospita l’Arena Beniamino Gigli, teatro delle manifestazioni musicali e teatrali nella stagione estiva.