Původní renesanční zámek postavili na místě středověké tvrze v letech 1548-1565 Fulštejnové. Po vymření tohoto rodu získali zámek Sedlničtí z Choltic. Dalším majitelem byl hrabě Maxmilián z Dittrichsteinu, který Rudoltice koupil jako pobělohorskou konfiskaci, již v roce 1630 je však prodal Jiřímu z Hodic. Hodicové zde vládli až do roku 1778. Od roku 1779 vlastnili panství Čejkové z Badenfeldu, poté Steuer z Krnova a Heřman Brücker z Červené Vody. Posledním majitelem byl do roku 1942 koňský handlíř Franz Andres.
(Slezské Rudoltice je uprostřed)