První písemná zmínka pochází z roku 1213, kdy byl správcem Štěpán z Medlova. Často zastavovaný zeměpanský hrad získali v roce 1531 do držení páni z Ludanic, již v roce 1536 jej však koupili Jan z Pernštejna a Jan z Lipé. Dalšími vlastníky byli od roku 1559 Černohorští z Boskovic a od roku 1573 páni z Lomnice. V roce 1609 koupili panství Tiefenbachové, v roce 1690 je zdědili Collaltové a v roce 1707 hrabata ze Sinzendorfu. V roce 1802 koupila Veveří velkoprůmyslnická rodina Mundyů a v roce 1830 švédský princ Vassa. Dalšími majiteli byli ještě Sinové, Hirsch – Gereuthové a Forestové. V roce 1925 bylo panství zestátněno.
(Veveří je uprostřed)
