Zámek nechal postavit v letech 1585 – 1590 Mikuláš starší z Bubna, když v roce 1562 koupil litické panství a přijal druhý predikát – z Litic. První zmínka o tomto původně vladyckém rodu pochází z roku 1388, kdy byl Stach z Bubna purkrabím na Potštejně. V letech 1630 a posléze mezi lety 1670 – 1690 byl původně renesanční zámek barokně přestavěn hrabětem Jindřichem Janem a jeho synem Františkem Adamem z Bubna a Litic. Kromě období mezi lety 1948 -1993 patřil zámek v Doudlebech vždy pouze Bubnům.
(Doudleby nad Orlicí je uprostřed)