Kamenná tvrz pánů z Kravař ze 14. století, která sloužila zejména jako součást městského opevnění, byla v 16. století přestavěna pány ze Žerotína na zámek. Původně byl zámek sídlem významných šlechtických rodů. Za pánů ze Žerotína měl také funkci obrannou, měl chránit město spolu s opevněním proti tureckému nebezpečí. V polovině 16. století zde přesídlila radnice, ale s příchodem jezuitů byla radnice zrušena a zámek se stal sídlem hejtmanství. Po zrušení jezuitského řádu se zámek dostal pod správu Tereziánské akademie a sídlila zde správa velkostatku. Původní funkce zámku již nebyla nikdy obnovena, zámek pustl a chátral až do 19. století, kdy byl znovu opraven.