První písemná zmínka pochází z roku 1316, kdy Kostelec patřil k potštejnskému panství. V roce 1339 je zkonfiskoval kralevic Karel a v roce 1410 je nechal Václav IV. zapsat manželce Žofii. Po její smrti připadlo v roce 1425 zboží císaři Zikmundovi, který je zastavil Půtovi z Častolovic. Dalšími majiteli byli Krušinové z Lichtenburka a od roku 1454 Jiří z Poděbrad. Kolem roku 1495 koupil panství Vilém z Pernštejna, v roce 1558 Hrzánové z Harasova a v roce 1629 Kašpar Gramb. V letech 1666 – 1746 drželi Kostelec Zárubové z Hustířan a poté hrabata Chamaré. V roce 1796 se posledními majiteli stali Kinští z Vchynic a Tetova.
(Kostelec nad Orlicí je uprostřed)
