První písemná zmínka o vsi pochází z roku 1203, tvrz je poprvé zmiňována v roce 1321, kdy byla majetkem krále Jana Lucemburského. V roce 1327 panství získal Bernart z Lipnice, který později přijal predikát z Cimburka. V roce 1502 vymřeli Tovačovští z Cimburka po meči a v následujícím roce se stali majiteli Tovačova Pernštejnové. V roce 1597 koupil panství Štěpán Illyesházy a v roce 1600 hrabata ze Salm-Neuburgu. Dalšími majiteli byli od roku 1715 Petřvaldští z Petřvaldu, od roku 1763 Khünburgové a konečně od roku1887 Gutmannové.
(Tovačov je uprostřed)