Rzymskokatolicki kościół pw. Niepokalanego Poczęcia Najświętszej Marii Panny został założony jako filia miejskiej parafii św. Piotra. Decyzję o budowie nowej świątyni na osiedlu Nowy Plan (łot. Jaunbūve) podjęto w związku z szybkim rozwojem miasta. Pozwolenie na budowę otrzymano w 1902 r., a budowę rozpoczęto w połowie kwietnia 1903 r. pod kierownictwem lokalnego inżyniera Jozafata Chludzińskiego. Budowę kościoła zaprojektowanego przez architekta Wilhelma Neumanna ukończono w 1905 r. W tym samym roku kościół konsekrowano lecz samodzielna parafia powstała tutaj dopiero w 1912 r.
Dwuwieżowy kościół ma kształty neobarokowe. Znajduje się w nim kaplica Matki Bożej z Lourdes. Neobarokowy ołtarz główny oraz neogotyckie ołtarze boczne wykonane są z drewna w latach 1905–1906. Styl neogotycki zachowują również ławki, konfesjonały i ambona, którą zdobi ażurowe okucie. Bogato zdobiona metalowa balustrada otacza także chór.
W ołtarzu centralnym umieszczono kopię obrazu Bartolomé Estebana Murillo „Niepokalana Matka Boża”, wykonaną w 1906 r. w Petersburgu przez Aleksandra Sergiusza Borawskiego. Kościół szczyci się również największymi organami wykonanymi przez mistrzów polskich na Łotwie – instrumentem wykonanym w 1909 r. w firmie Adolfa Hofmana (Warszawa, Wilno).