Jezuité byli do Uherského Hradiště pozvaní už na začátku 17. století, ale první bratří  ve městě působili na svém gymnáziu až od roku 1644. Se stavbou vlastní koleje začali o deset let později. Základy kostela sv. Františka Xaverského, prvního svatostánku v Čechách věnovaného tomuto významnému misionáři, byly položeny v roku 1670. Projekt navrhl pravděpodobně architekt italského původu Jan Dominik Orsi, vycházejíc z předlohy slavného Vignolova kostela Il Gesú v Římě. Hradišťský stavitel Jan Jeroným Canevalle a jeho pomocníci se při stavbě museli vypořádat s nestabilním bažinatým podložím vkládáním dřevěných roštů s výplní. Inspirovali se obdobnou technikou používanou v Benátkách. Požár v roce 1677 oddálil vysvěcení kostela o pět let.

Taktéž o výzdobu kostela se postarali významní umělci té doby, většinou sympatizanti nebo příslušníci jezuitského řádu. Někteří z nich pracovali i v bazilice na Velehradě nebo na zámku v Buchlovicích. Hlavní oltářní obraz od Jana Jiřího Heinsche spodobuje sv. Františka Xaverského – „apoštola Dálného východu“ - na jeho misijní cestě do Indie. Zajímavá je iluzivní malba na ploché zdi za hlavním oltářem, která vytváří dojem prostoru  chybějícího polygonálního závěru. Malíř Ignác Raab vytvořil oltářní obrazy v bočních kaplích, sochařOndřej Schweigel je autorem plastik na oltářích. Štukaturu provedl na konci 19. století  Antonín Popp, atlanti kterého podepírají balkón nedaleké nové radnice. Součástí kostela je i kaple svaté Viktorie, patronky města. Ostatky této raně křesťanské světice byly do Uherského Hradiště převezeny z Kroměříže, kde jezuité původně působili.

Průčelí kostela je zdobeno sochami v nikách. Dominuje jim sv. František Xaverský, jeden z prvních příslušníků jezuitského řádu. Nalevo je vyobrazen patron mládeže sv. Alois a pod ním samotný zakladatel Tovarišstva Ježíšova sv. Ignác z Loyoly. Vpravo je sv. Josef a španělský jezuita sv. František Borgiáš.

Kostel sv. Františka Xaverského sloužil křesťanům i po zrušení jezuitského řádu, od roku 1778 jako kostel farní.

Poslední renovace kostela proběhla po ničivé povodni Uherského Hradiště v roce 1997, kdy došlo ke značnému propadu podlah, drcení a lámání mramorové dlažby a vychýlení hlavního oltáře. Opravy však neustále pokračují, v létech 2006 - 2007 byl obnoven krov a střecha kostela, do roku 2016 se podařilo zrestaurovat sochy světců v nikách i portály na jeho přůčelí.

Kostel je součástí projektu Otevřené brány.