Jestli však tato tvrz byla dřevěná a veškerá její gotická kamenná výstavba proběhla do česko – uherských válek, či zda byla tvrz kamenná již v roce 1391, opět nevíme. Dalšími známými držiteli tvrze, kteří se mohli zasloužit o její stavební vývoj, byli Jiří z Mesenspeku (od roku 1408) a Jan Mléčko ze Zástřizl (získal Hluk před rokem 1460). Tehdy již byla tvrz dobře opevněna. Ani to však nezabránilo, aby ji za česko – uherských válek roku 1468 nedobylo vojsko uherského krále Matyáše. Ten pak za odměnu daroval Hluk Francovi z Háje, veliteli neblaze proslulé „černé roty“. Zástřizlům byl majetek vrácen až po zaplacení odškodného. Okolo roku 1545 koupil panství Jan z Kunovic, který tvrz přestavěl renesančně. Stalo se tak do roku 1559, jak o tom svědčí erbovní deska na jižním křídle objektu. Po Janově smrti roku 1563 bylo panství rozděleno mezi jeho syny. Jan Bernard z Kunovic se zúčastnil stavovského povstání v letech 1618 – 1620, pročež mu bylo hlucké panství zabaveno a prodáno Gundakarovi z Lichtenštejna. Za Lichtenštejnů tvrz ztratila svou funkci šlechtického sídla a byla využívána k hospodářským účelům, což vedlo k její značné devastaci. V roce 1943 zakoupila tvrz hlucká obec a v letech 1959 – 1965 ji nechala zrekonstruovat, což architektonicky cenný objekt zachránilo před zkázou. Majetkem obce je tvrz i dnes. V současné době je ve tvrzi umístěna knihovna, kavárna, obřadní síně, sály pro pořádání různých společenských nebo i soukromých akcí. Ve věži je zřízeno muzeum a "selská jizba" pro akce s menším počtem účastníků.