První písemná zmínka pochází z roku 1422, kolem roku 1425 zde založil Heník z Valdštejna strážní hrad Vranov. V roce 1538 získali panství Vartemberkové a v roce 1615 rod Smiřických. Jako pobělohorskou konfiskaci získal v roce 1628 maloskalské panství, nejdříve v léno a po smrti Albrechta z Valdštejna v roce 1634 dědičně, plukovník císařské armády Mikuláš Desfours. V roce 1802 panství koupil František Zachariáš Römisch, na troskách hradu vybudoval Pantheon a v roce 1826 novogotický letohrádek.
(Malá Skála je uprostřed)