Nejstarší zmínka o Kvasicích pochází z roku 1131, kdy v nich patřil lán role ke kostelu spytihněvskému. V roce 1248 Kvasice vlastnil Ondřej z Benešova a Kvasic a v roce 1269 Milota z Kvasic, oba z rodu Benešoviců, kteří zdejší zboží drželi téměř 200 let a jejichž erbu (zavinutá střela) obec užívala ve svém znaku.

Zdejší tvrz se poprvé připomíná roku 1365, jako sídlo Miloty z Benešova a Kvasic. Dále byla stále sídlem rodu z Benešova (z Kvasic). O podobě tvrze toho mnoho nevíme, jisté však je, že její dobytí husity bylo velmi nesnadné. V 80. letech 16. století přebudoval tvrz Havel Kurovský z Vrchlabí v renesanční zámek s arkádami, otevřenými do dvora a věží nad průjezdem.

Roku 1636 získal celé panství Jan Rottal. Rottalové měli své sídlo v Napajedlích, respektive v Holešově, takže zámek byl v 17. století jen střediskem patrimoniální správy. V roce 1820 byly strženy předhradní budovy a zbytky příkopu i s rybníčkem zasypány. O 20 let později zásadně pozměnili interiéry a vzhled zámku. Také byly zazděny arkády. Hlavním portálem se vcházelo po honosném schodišti do prvního poschodí, do sálů opatřených štukovou výzdobou. Při zámku byla zřízena bohatá knihovna, kolem budovy byl vybudován anglický park.

Zámek je dnes čtyřkřídlá dvoupatrová budova s vnitřním nádvořím, na němž jsou patrny zazděné arkády. Dnes je v majetku obce a slouží jako domov důchodců, a proto je také zajištěna jeho údržba. Vstupní průčelí zámku doplňuje také věž, která navazuje na průčelní fasádu. Ve spodní části východního okraje zámku jsou též patrné přízemní okrouhlé bašty - snad pozůstatky opevnění nebo jiné přístavby. Průběh severozápadní strany přetíná schodiště a zadní průčelí je doplněno vystouplou přístavbou, v patře upravenou v terasu. (autor textu: Martin Zvonek).

V zámeckém parku, který je v majetku obce (park založil v roce 1790 Jan Nepomuk Lamberg), roste řada kapitálních stromů ve stáří 230 a více let, hlavně dubů, několik platanů, u hřiště lipová alej. Nejvíce známý je Kvasický ořešák (ořešák černý, obvod kmene 672 cm), který byl v roce 2017 Stromem roku v České republice. Jako vítěz národního žebříčku postoupil do evropského finále, kde se umístil na 9. místě.

Kvasice leží na trase cyklostezky kolem řeky Moravy a Baťova kanálu (Moravská stezka, cyklotrasa č. 4), přes zámecký park vede modře značená turistická stezka od hřiště v Kvasicích.

V sezoně z Kvasic do Kroměříže a zpět jezdí po řece Moravě výletní loď, provozovatel Kroměřížská plavební.