První zmínka o hradě je z roku 1337. Původními vlastníky byli Vartenberkové, kteří jej v roce 1402 prodali pánům z Dubé. V roce 1481 získal panství saský rod Šlejniců. Ti také v roce 1548 založili nedaleký Jiřetín pod Jedlovou, v roce 1555 však šlechta hrad opustila a usídlila se na zámku v Rumburku. Od roku 1607 byl hrad pustý, definitivně ho však vyplenili a vypálili Švédové v roce 1642. V roce 1865 otevřel na zřícenině Johann Josef Münzberg hostinec.
(Tolštejn je uprostřed)