Zdejší hrad Frýdberk postavil snad kolem roku 1300 rytíř Jan z Wüstehube. Před rokem 1340 jej získali loupeživí rytíři Haugvicové, kteří jej v roce 1358 pod nátlakem prodali vratislavskému biskupovi Přeclavovi z Pohořelé. V roce 1428 byl hrad poničen husity a opravy se dočkal až v roce 1582 za biskupa Martina Gerstmanna. V roce 1639 byl opět pobořen švédským vojskem a později sloužil jako pivovar. V roce 1805 věnoval biskup hrad městu a ten byl v letech 1809 – 1810 přestavěn na kostel sv. Josefa.
(Žulová je uprostřed)