Město vzniklo patrně v 11.stol., v roce 1279 vybudoval Tas z Vízmburka nedaleko hrad Vízmburk. V roce 1330 se majiteli stali páni z Dubé. V roce 1447 byl hrad vykoupen Slezany a pobořen, panství se spojilo s panstvím náchodským. Dalšími majiteli byli Špetlové z Janovic a Pernštejnové, od roku 1544 pak Smiřičtí. Jako pobělohorskou konfiskaci obdrželi majetek Trčkové z Lípy a v roce 1634 Piccolominiové. V roce 1783 získali panství Desfoursové a v roce 1792 Petr Biron, vévoda Kuronský a Zaháňský. Posledními majiteli byli v letech 1842 – 1945 knížata Schaumburg – Lippe.
(Úpice je uprostřed)
