První písemná zmínka o městě pochází z roku 1352, ale již od od roku 1252 patřilo grabštejnské panství s Chrastavou Donínům. Počátkem 15. stol. stál nad městem patrně dřevěný hrad loupeživého Mikuláše z Kajšperka, který byl v roce 1433 rozbořen. V roce 1562 panství koupil Jiří Mehl ze Střelic a v roce 1586 Ferdinand Hoffmann z Grünbühlu. V roce 1607 vyženil Chrastavu Jan Bedřich z Černous. Od roku 1628 byli krátce majiteli Valdštejnové a od roku 1638 opět Černousové. V roce 1651 panství koupili Nostitzové a obratem je prodali Trauttmannsdorffům. Posledními majiteli byla od roku 1704 hrabata Gallasové.
(Chrastava je uprostřed)
