Hrad byl založen v pol. 13. stol. Vítkem z Krumlova. Po vymření krumlovské větve Vítkovců v roce 1302 jej získali Rožmberkové. V roce 1602 prodal Petr Vok z Rožmberka Vítkův Hrádek Rudolfu II. V roce 1622 jej získali Eggenberkové, kteří zde během třicetileté války drželi ozbrojenou posádku. Od roku 1719 byl v majetku Schwarzenberků, kteří zde v roce 1725 ještě provedli některé udržovací práce. Od té doby hrad chátral.
(Vítkův hrádek je uprostřed)