Cette construction, qui à l'origine était un séminaire, date du XVIIe siècle. Au XIXe siècle, les bâtiments abritèrent l'Ecole militaire préparatoire de cavalerie où furent éduqués les Enfants de troupe.

Le bâtiment du cloître date du XVIIe siècle. C'était à l'origine un grand séminaire qui fut fondé en 1675 par l'évêque d'Autun, monseigneur de Roquette. Les plans du séminaire sont l’œuvre de l'architecte Daniel Guittard. Les jardins, dont il ne reste plus rien aujourd'hui, avaient été dessinés par Le Nôtre. Pour diminuer les frais de construction, l'évêque n'hésita pas à utiliser largement les pierres du théâtre romain. Cette construction fut considérée, à l'époque, comme un des plus beaux séminaires de France. La Révolution de 1789 provoqua le départ des séminaristes. Les locaux furent pillés et abritèrent entre autres, des prisonniers Autrichiens puis Espagnols. C'est en 1813 que le bâtiment, rendu à l'évêque, devint petit séminaire.