Původní gotická tvrz ze 13.stol. byla v 16. stol. přestavěna na renesanční zámek. Mezi nejvýznamnější jména, spjatá s tímto místem, byl Kryštof Harant z Polžic a Bezdružic. Majitelé se často střídali, nejdéle Bezdružice spravovali Löwensteinové, kteří také provedli nejrozsáhlejší přestavbu. V roce 1868 postoupil Karel Jindřich Löwenstein zámek rakousko-uherským úřadům za účelem zřízení soudu a vězení.
(Bezdružice je uprostřed)