Kościół został wniesiony w latach 1816–1818 jako jeden z pierwszych budynków miejskich. Pierwotnie miał nieco inny kształt – była to jednonawowa, klasycystyczna świątynia. Obecny wygląd jest efektem wielu remontów, zmian projektu i przebudowy. W okresie międzywojennym dobudowano dwie, dzisiaj bardzo dobrze widoczne z różnych punktów miasta, neobarokowe wieże o wysokości 20 metrów. Obecnie w starej zabytkowej części kościoła można zobaczyć ołtarze i elementy późnobarokowego wyposażenia. Pod posadzką świątyni został pochowany założyciel miasta, Rafał Bratoszewski. To właśnie na jego cześć kościół otrzymał wezwanie św. Rafała.