Hrad založil před rokem 1287 Půta či jeho syn Procek z rodu Drslaviců, v roce 1339 jej zkonfiskoval kralevic Karel. V roce 1410 nechal Václav IV. zapsat Potštejn manželce Žofii. Po její smrti připadl v roce 1425 císaři Zikmundovi, který zboží zastavil Půtovi z Častolovic. Dalšími majiteli byli Krušinové z Lichtenburka a od roku 1454 Jiří z Poděbrad. Kolem roku 1495 koupil panství Vilém z Pernštejna. V roce 1558 Potštejn koupili Hrzánové z Harasova, za kterých zde byl postaven zámek a v roce 1629 Kašpar Gramb. V letech 1666 – 1746 drželi Potštejn Zárubové z Hustířan a poté hrabata Chamaré. Posledními majiteli byli od roku 1851 Dobřenští z Dobřenic.
(Potštejn je uprostřed)