První písemná zmínka o hradě je z roku 1358. Zakladateli byli páni z Hradce, v roce 1393 jej kupuje vladycký rod Kamarétů. Ti zde vládli do roku 1485, kdy panství prodali Vencelíkům z Vrchovišť, kteří hrad významně dostavěli. V roce 1544 koupil zadlužené panství Albrecht z Gutštejna a od roku 1564 je podruhé v rukou pánů z Hradce. Ti v roce 1604 vymírají a panství získali Slavatové. V roce 1693 se stala Žirovnice majetkem Šternberků, kteří v roce 1910 prodali panství městu.
(Žirovnice je uprostřed)