Galerija Klovićevi dvori smještena je u zdanju starog, gornjogradskog, isusovačkog samostana, čija gradnja započinje u prvoj polovici 17. stoljeća i traje u etapama sve do drugog desteljeća 18. stoljeća. Velik četverostrani kompleks isusovačkog samostana zatvara nepravilan četverokutni atrij. Sastoji se od dva povijesno i arhitektonski različita djela: samostana iz 17. stoljeća i srednjovijekovne gradske kule, ugrađene u zgradu samostana, koja se danas jedva primjećuje. Kula se nalazi na sjeveroistočnom uglu kompleksa čija se istočna strana oslanja na gradski bedem. Sagrađena je sredinom 13. stoljeća i po debljini zidova (gotovo 2 metra) i kvadratnom tlocrtu istovjetna je drugim gradečkim kulama Lotrščaku, Popovim tornju, kuli Kamenitih vrata.

Bivši isusovački kompleks svoju ljepotu duguje i plastično – dekorativnim elementima na svom vanjskom pročelju, ali i onim dvorišnima. Kameni portal na zapadnom pročelju svojim rustičnim kvadrima odaje renesansnog majstora, dok je drugi portal, današnji ulaz u Galeriju, djelo visokog baroka iz 1783/4. godine. Sinteza renesanse i baroka rezultirala je iznimno harmoničnim rješenjem, pri čemu je barokni portal postao zaštitni znak Galerije Klovićevi dvori.
Jedinstvenost ovog kompleksa potvrđuje se ulaskom u atrij koji svojom kontemplativnošću naprosto mami posjetioca za ostanak.  Pročelja su podjeljena polukružnim prozorima u prizemlju i prvom katu, koji su uokvireni kasnorenesansnim ornamentiranim okvirima ispunjenim stiliziranim biljnim ornamentima talijanskog izvorišta.
Današnji izgled dugujemo arhitektima  Vahidu  Hodžiću i Igoru Emiliju koji su u razdoblju od 1973. do 1984. preuredili zgradu u Muzejski prostor. Osim temeljite adaptacije unutrašnjosti, nadograđen je drugi kat na zapadnom pročelju, prigrađena je zgrada za kafeteriju u južnom dvorištu, a  spušteno je i  tlo glavnog dvorišta.
Tim je zahvatima ovo najveće i najljepše zdanje Gornjeg grada dobilo novu namjenu koju je zadržalo do danas.