Le musée Ernest Cognacq est composé d'un ancien hôtel particulier, d'une aile contemporaine, qui abrite le parcours de visite, la boutique et la salle de conférence, et de jardins entièrement réaménagés dans l'esprit du XVII^e siècle. Il est situé au cœur des fortifications Vauban inscrites au Patrimoine Mondial de l'Unesco.