První písemná zmínka pochází z roku 1289 z predikátu zakladatele hradu Jindřicha. Pánům z Brandýsa hrad patřil nejméně do roku 1323, v roce 1360 však už panství vlastnili páni z Boskovic a v letech 1429 - 1431 Smil Holický ze Šternberka. V pol. 15. stol. získali Brandýs Kostkové z Postupic a v roce 1506 jej prodali Pernštejnům. V roce 1544 koupili panství zpět Kostkové. V letech 1559 – 1636 bylo panství v držení Žerotínů, poté Marie Zárubové z Hustířan a od roku 1652 Trautmannsdorfů, kteří v roce 1781 vybudovali dnešní zámek. V roce 1806 koupil Brandýs Arnošt Mořic z Lynar, v roce 1817 Karel Blažek. Dalšími majiteli zámku byli od roku 1869 Parishové a od roku 1914 rodina Fischerů.
(Brandýs nad Orlicí je uprostřed)