Palazzo Bracci Pagani è un bene monumentale di interesse storico-artistico databile tra il XVI e il XIX secolo, situato nel centro storico di Fano tra via Arco d'Augusto e Corso Matteotti su cui si trova l'ingresso.
Si accede al palazzo da un androne settecentesco, si sale poi al complesso museale attraverso una scala costruita nel Settecento per consentire l’unione dei due palazzi, somigliante a quella della Biblioteca Federiciana. Al piano nobile di Palazzo Pagani rimane traccia di una sezione del soffitto a travi con decorazioni vegetali risalenti al XVI-XVII secolo; di ornamenti pittorici geometrici sulle zoccolature, di stipiti di finto marmo e di un dipinto con paesaggio marino dell’Ottocento.
Al primo piano e al piano terra sono visibili archi e capitelli ionici che testimoniano la presenza di una struttura più antica, inglobata all'interno del Palazzo Pagani.