První písemná zmínka o hradě pochází z roku 1312 a hovoří o jeho dobytí vojsky Jana Lucemburského. Založen tedy musel být mnohem dříve, ostatně již v roce 1222 je uváděn Jimram z Boskovic. Páni z Boskovic vlastnili panství až do roku 1547, pouze mezi léty 1398 – 1458 je vystřídali páni z Kunštátu. V roce 1547 se majiteli stali Ederové ze Štiavnice a v roce 1567 pak Morkovští ze Zástřizl. V roce 1690 panství vyženili Ditrichštejnové a v roce 1843 zase hrabata Mensdorff – Pouilly.
(Boskovice je uprostřed)