Zakladatelem hradu byl pravděpodobně rod Buziců, prvním, kdo se psal ze Žebráku, byl v druhé polovině 13. stol. Oldřich Zajíc. V roce 1336 získal panství výměnou za panství budyšínské král. Po nástupu Karla IV. na trůn drží Žebrák až do roku 1350 jeho bratr Jan Jindřich. Hrad byl několikrát zastaven, např. Petrovi z Vartemberka, patřil i Kolowratům. V roce 1532 vyhořel a jeho zkázu později dokonal Volf Krajíř z Krajku, když hrad překopal při hledání pokladu.
(Žebrák je uprostřed)
