První písemná zmínka pochází z roku 1242, kdy byli majiteli páni z Polné. Dalšími majiteli panství byli páni z Lipé a páni z Pirkštejna, Hynek Ptáček z Pirkštejna přikoupil panství přibyslavské. Obě panství poté vyženili páni z Kunštátu. V 15. stol. zde krátce vládl Mikuláš Trčka z Lípy a Karel z Valdštejna. V roce 1553 panství vyženil Zachariáš z Hradce a v roce 1597 jej koupili Žejdlicové ze Šenfeldu. Jako pobělohorskou konfiskaci jej pak získali Ditrichštejnové.
(Polná je uprostřed)
