První zmínka o Světlé je z roku 1207, kdy byla v majetku vilémovského kláštera. V roce 1385 byla dána do zástavy Albertovi ze Šternberka a jeho syn zde vybudoval tvrz. V roce 1417 již však patří opět klášteru. V roce 1442 se panství stalo na téměř 200 let majetkem Trčků z Lípy, kteří přestavěli tvrz na zámek. Poté byla sto let majetkem Černínů. Dalšími majiteli byli od roku 1748 Kolovratové, poté např. hrabě Zichy nebo hrabata ze Salmu.
(Světlá nad Sázavou je uprostřed)