Městečko bylo založeno kolem roku 1282, poč. 14. stol. zde Jan z Wüstehube založil hrad Kolštejn. Krátce na to získala panství královská komora a v roce 1339 páni z Lipé. Koncem 14. stol. se majiteli stali Valdštejnové a ve 30. letech 15. stol. páni ze Zvole. V roce 1568 panství vyženil Jan Černčický z Kácova a od roku 1575 je vlastnili Žerotínové. Dalšími majiteli byli od roku 1581 páni z Vrbna a od roku 1614 rytíř Hanuš z Petřvaldu. Zkonfiskované panství pak v roce 1622 získali Lichtenštejnové.
(Branná je uprostřed)