První písemná zmínka pochází z roku 1465, kdy Lhota patřila rodu Zásmuků. Dalšími majiteli byli Boubínští z Újezda a kolem roku 1530 koupili tvrz Kábové z Rybňan. Gotickou tvrz pak přestavěli do podoby renesančního zámku. V roce 1597 panství koupili Rutové z Dírné a v roce 1621 je získal jako pobělohorskou konfiskaci italský šlechtic Antonio Bruccio, který zde nechal vybudovat kamenný most. V roce 1641 se stali majiteli Slavatové z Chlumu a Košumberka, v roce 1693 panství vyženili Windischgrätzové a v roce 1755 je koupili páni z Gudenusu. Dalšími majiteli byli ještě od roku 1776 Stillfriedové, od roku 1820 průmyslník Jakub Veith a od roku 1835 knížata Schönburg-Hartensteinové.
(Červená Lhota je uprostřed)
