První písemná zmínka pochází z roku 1257. Přibližně v této době zde byl také vybudován hrad, jehož prvním známým majitelem byl Čeněk z Ronova. Město i hrad byly dobyty v roce 1424 husity a obsazeny. Při obléhání zde zemřel Jan Žižka. Dalším majitelem Přibyslavi byl Hynek Ptáček z Pirkštejna, poté ji vyženili páni z Kunštátu. Dále panství krátce patřilo Mikuláši Trčkovi z Lípy a Karlu z Valdštejna. V roce 1553 Přibyslav vyženil Zachariáš z Hradce a v roce 1560 zde vybudoval zámek. V roce 1597 koupili panství Žejdlicové ze Šenfeldu a konečně jako pobělohorskou konfiskaci jej získali Ditrichštejnové.
(Přibyslav je uprostřed)