První písemná zmínka o Vysokém pochází z roku 1352. V této době byl pravděpodobně pány z Valdštejna postaven hrádek Nístějka a Vysoké tvořilo jeho hospodářské středisko. V letech 1390-1422 byli majiteli panství Vartemberkové a po nich do roku 1459 páni z Jenštejna. V roce 1460 bylo Vysoké připojeno k navarovskému panství Zajíců z Hazmburka. V roce 1515 se majiteli stali Smiřičtí ze Smiřic a v roce 1623 Albrecht z Valdštejna. Po jeho zavraždění v roce 1634 držela panství hrabata Desfoursové a od roku 1748 italská hrabata z rodu Caretto-Millesimo. V roce 1810 se stal majitelem velkostatkář Jakub Veith a v roce 1824 Rohanové.
(Vysoké nad Jizerou je uprostřed)