Ve 13. stol. zde vybudovali páni z Častolovic vodní tvrz, pozdějšími majiteli byli páni z Kunštátu. V roce 1495 koupil Častolovice Vilém z Pernštejna a v roce 1559 Jindřich z Regeru. Ten obnovil zdejší pustou tvrz a v roce 1570 ji prodal Albrechtu Bryknovi z Brukštejna. Od roku 1577 byl majitelem císař Rudolf II. a od roku 1584 Oppersdorfové, kteří zde postavili renesanční zámek. Od roku 1684 byli krátce majiteli Černínové z Chudenic a od roku 1694 patří Častolovice Sternbergům.
(Častolovice je uprostřed)
