První písemná zmínka pochází z roku 1278, kdy město vlastnil Protiven ze Zábřehu. Dalšími majiteli byli nejméně od roku 1308 Šternberkové, panství však často zastavovali. V roce 1480 se stal majitelem Jan Dalčický z Dalčic, v roce 1490 pak spolumajitelem jeho zeť Aleš Krčma z Koněpas. V roce 1531 koupil panství Hynek Berka z Dubé a v roce 1569 Jan Černohorský z Boskovic. Dalšími majiteli byli Žalkovští z Žalkovic, od roku 1596 páni z Catharu a od roku 1602 Odkolkové z Újezdce. Těm byl však zkonfiskován majetek a Štíty v roce 1624 koupil kníže Karel z Lichtenštejna.
(Štíty je uprostřed)