První písemná zmínka pochází z roku 1304, kdy Václav II. vyměnil Litice s Půtou z Potštejna za jiné panství. Na čas měli v zástavě hrad páni z Lipé a páni z Lichtenburka. Na poč. 70. let 14. stol. panství získali páni z Kunštátu a Poděbrad, v roce 1495 jej pak prodali Pernštejnům. V roce 1556 se majitelem stal Arnošt, falckrabě rýnský a hrabě kladský a o rok později Václav Okrouhlický starší z Kněnic. V roce 1562 jej koupili Bubnové, později s predikátem z Litic. Posledními majiteli byli od roku 1815 Parishové.
(Litice nad Orlicí je uprostřed)
