Prvním známým majitelem Žlutic byl Zdimír ze Svojšína, který kolem poloviny 12. stol. ves daroval benediktinskému klášteru v Kladrubech. V roce 1186 se směnou dostala do držení českých panovníků. V 1. pol. 13. stol. se majiteli stali Hrabišicové, kteří později přijali predikát z Rýzmberka. V roce 1415 panství koupili Elsterberkové. V roce 1426 se města nejprve násilím zmocnil, o dva roky později je pak koupil Jakoubek z Vřesovic. Dalšími majiteli byli od roku 1537 páni z Plavna, od roku 1568 Bohuslav Felix Hasištejnský z Lobkovic a od roku 1575 Kokořovci z Kokořova.
(Žlutice je uprostřed)