První zmínka o Sloupu pochází z roku 1324, panství patřilo až do počátku 17. stol. převážně Berkům z Dubé. Vystřídali se zde však také Hanuš Welfl z Varnsdorfu, Pancířové ze Smojna nebo Vilém z Ilburka. V roce 1616 panství koupili Salhausenové, po Bílé hoře jim však byl zkonfiskován majetek a Sloup získali Libštejnští z Kolovrat. Dalšími majiteli byli od roku 1679 Kokořovci z Kokořova, za kterých bylo na místě bývalého středověkého hradu na vysoké skále vybudováno barokní poutní místo. Posledními majiteli byli od roku 1710 Kinští z Vchynic a Tetova.
(Sloup v Čechách je uprostřed)