Il Palazzo è stato edificato nel Secolo XVIII su precedenti strutture di epoca medievale, inglobate nell'edificio. Sorto come residenza dei conti Pasolini, successivamente il Palazzo è stato acquisito dalla famiglia patrizia Sirotti Gaudenzi, che, tra i suoi rappresentanti, vide titolati e insigni giuristi, con ruoli di prestigio sin dal Medioevo, con documenti risalenti alla Terza Crociata.

Nel Secolo XIII Stefano Sirotti fu Signore vicario di Castrum Munticuli. La famiglia acquisì il baronato di Ancona e nel 1416 Tommaso fu podestà di Macerata. 

Il ramo stabilitosi a Cesena nel Secolo XVII presenta, tra gli altri: 

- il notaio Matteo Sirotti, attivo in Romagna nel '700;
- il giurista Andrea Sirotti, avvocato e giudice, presidente di Corti giudiziarie nei primi anni dell'800 (nominato presidente della Corte di Giustizia di Macerata nel 1808), accademico dei Georgofili (Firenze),  accademico dei Catenati (Macerata),  ultimo docente di diritto naturale dell'Università di Cesena e indicato come deputato per i Comizi di Lione del 1802; 
- Mauro, avvocato, scrittore, Governatore dei Legati Pii e Presidente della Municipalità cesenate nei primi anni dell'800;
- Matteo Sirotti, patrizio di San Marino, che sposò nel 1837 Geltrude Spreti, primogenita del marchese Girolamo V e di Maria Anna dei conti Indovini del Sale di Ravenna. 

Il nipote, Alessandro Sirotti Gaudenzi, portò la residenza principale della famiglia in Contrada Chiaramonti.

La facciata neoclassica del Palazzo ospita i bassorilievi (perfettamente conservati) di sei divinità. Gli interni del Palazzo sono decorati dalle opere di alcuni dei maggiori artisti del Neoclassicismo, tra cui Felice Giani, Gaetano Bertolani e Pietro Piani. Notevoli sono gli stucchi della Bottega Collina e di Giovan Battista Ballanti Graziani, presenti in vari ambienti. Sorprendente è la presenza di una galleria cieca attorno allo scalone d'onore, che ospita due monumentali tempere. Quella più grande raffigura il simbolo iniziatico per eccellenza: Arianna con ghepardo. La seconda riproduce un maestoso Masaniello. 
Nelle pareti dello scalone sono presenti gli antichi stemmi dei casati Pasolini e Sirotti.

Al centro del soffitto del salone principale è collocata la grande tela di Felice Giani dedicata ad Attilio Regolo, soggetto che l'illustre rappresentante del Neoclassicismo realizzò anche in una delle principali sale del Palazzo Braschi di Roma. Lo stesso salone ospita due importanti lavori di Ballanti Graziani ("Sacrificio pagano" e "Le tre grazie"). Nella volta sono presenti le panoplie realizzate da Felice Giani e dalla sua Bottega. La sala azzurra è decorata con opere di Pietro Piani e altri stucchi di Ballanti Graziani (raffiguranti putti dorati, presenti nella volta), mentre la successiva sala verde presenta tempere che raffigurano motivi floreali. La sala ottagonale è abbellita dalla celebre tela di Felice Giani raffigurante il banchetto delle Eumenidi. Nel salone rosa campeggiano decorazioni in stile pompeiano. Un'ulteriore grande sala (detta "sala del Fauno") è decorata dal Giani. I principali ambienti del piano nobile sono collegati tra loro da una galleria decorata da motivi neoclassici e grotteschi. La saletta ovale, presente lungo la galleria, è decorata con la tela del Giani raffigurante "Amorini che danzano".

Al secondo piano vi sono altre sale che sono ricondotte all'intervento di Felice Giani e della sua scuola. È presente, in particolare, una grande sala nuziale (detta "sala della musica"), caratterizzata da un'eccellente acustica e decorata con le immagini di alcune muse e con una tela dello stesso Giani che rappresenta una manifestazione artistica nell'antica Roma. Annessa alla "sala della musica", si trova la biblioteca, arricchita da decorazioni con le storie di Edipo. Il salone dell'ultimo piano ospita alcune scene attribuite al Bibbiena.

In una delle corti del palazzo è presente una torre medievale (probabilmente oggetto di modifiche nel Secolo XIX) che, secondo la tradizione, ha ospitato San Carlo Borromeo, durante i propri soggiorni cesenati. In epoche più recenti, il Palazzo ha ospitato, tra gli altri, letterati e uomini di cultura come Giosuè Carducci, Giovanni Pascoli, Gabriele D'Annunzio, Renato Serra e Randolfo Pacciardi.