První písemná zmínka pochází z roku 1285. V roce 1292 postoupil Václav II. Ústí Zbraslavskému klášteru, v roce 1358 jej získalo litomyšlské biskupství, založené v roce 1344. V roce 1432 získali panství Kostkové z Postupic. V roce 1505 zemřel Jan Kostka z Postupic bez mužských dědiců a jeho dcery se vdaly za syny Viléma z Pernštejna. V roce 1588 panství koupil Adam Felix Hrzán z Harasova a v roce jej 1622 je od Hrzánů koupili Lichtenštejnové.
(Ústí nad Orlicí je uprostřed)