Původní plány zřízení komplexního vojenského výchovného centra v Hranicích byly již v době výstavby mohutných budov obou ústavů změněny v důsledku přepracování rakouské vojenské doktríny. Mezinárodně-politické postavení Rakouska se prudce zhoršilo. Jedinou přijatelnou obranou před očekávanou agresí se zdála být výstavba mohutných pevnostních základen, které by znemožnily útok na Vídeň přes terénně přístupné oblasti. Na Moravě se opevněným centrem měla stát Olomouc s jejím okolím. Všechny útvary a jednotky olomoucké posádky, které přímo nesloužily obranným cílům, byly z města postupně odstěhovány. V roce 1858 byla z Olomouce do Hranic přesunuta Dělostřelecká akademie. To samozřejmě vyžadovalo výstavbu dalších objektů a zařízení, nutných k výuce i praktickému výcviku budoucích důstojníků dělostřelectva.
Další osud rozsáhlého hranického objektu předurčila prusko-rakouská válka v létě roku 1866. Po katastrofické porážce rakouské armády v létě roku 1866 poblíž Hradce Králové pruskou armádou se z dřívějšího protivníka stal vynuceně nejbližší spojenec. Sjednocovaly se vojenské plány obou mocností a rovněž koncepce vojenského školství. Dělostřelecké akademie se v roce 1869 odstěhovala do Vídně. V uprázdněném objektu sídlila Vojenská technická škola, aby se v polovině 70. let stala sídlem dvou prestižních vojenských středních škol. Od roku 1875 v objektu působila Vyšší vojenské reálné gymnázium a od roku 1878 také jízdní kadetní škola.