Nell'ala sud del Castello Svevo si trova la Biblioteca Comunale di Porto Recanati, A. Moroni.

Attualmente la struttura ospita 14150 volumi esposti in scaffali aperti, distribuiti in due ampie sale di lettura, suddivisi per argomento e catalogati secondo gli standard nazionali.

Al momento dell'apertura la biblioteca offriva circa 10000 volumi, tra quelli appartenenti al Fondo librario Attilio Moroni e quelli donati dalla prof.ssa Possenti, ai quali si sono aggiunte le numerose donazioni da parte di privati, fruitori della struttura pubblica.

Ogni anno la biblioteca ospita circa un migliaio di persone che possono svolgere le proprie ricerche al pc, usufruendo liberamente dei volumi sistemati sugli scaffali. I maggiori frequentatori sono per lo più universitari, che trovano in questi luoghi la tranquillità ideale per lo studio, gli adulti in terza età che, tra una lezione e l'altra della loro Università, scelgono le proprie letture e i ragazzi delle suole elementari accompagnati dai docenti.

Peculiarità della Biblioteca è quella di possedere un settore dedicato alle letture per ragazzi pratico per svolgere ricerche e tesine. Considerevole è anche il settore dedicato alle riviste, composto da mensili di informazione varia e periodici specialistici (letteratura, filosofia, storia, cultura locale). Inoltre, tesi di laurea, volumi di autori classici della letteratura italiana, inglese, spagnola, tedesca, volumi di geografia, scienze, psicologia, medicina, musica, teatro, archeologia, storia dell'arte, teologia, giurisprudenza, ecc.