Parafia pw. św. Floriana została wydzielona z parafii Chorzele i erygo wana przez bł. abpa A.J. Nowowiejskiego. Wcześniej istniała w Jedno rożcu samodzielna administracja duszpasterska. Bullą „Totus Tuus Poloniae Populus” Papieża Jana Pawła II z 25.03.1992 r. parafia Jednorożec została włączona do Diecezji łomżyńskiej z Diecezji płockiej.

W 1862 r. w Jednorożcu zbudowano drewniany kościół filialny, który spłonął w 1914 r. Do budowy nowego drewnianego kościoła przystąpiono w 1918 r. Projektował go W. Ferenc, budowę kościoła prowadził ks. K. Lewandowski. W latach 1983-1986 wybudowano kościół murowany pw. Narodzenia NMP staraniem ks. Mariana Mecha. Kościół konsekrowany 18.06.1991 r. przez Biskupa płockiego Zygmunta Kamińskiego. W 2007 r. wykonano nową polichromię wnętrza kościoła.

Plebania murowana razem z kościołem, wybudowana w latach 1983-1986 staraniem ks. Mariana Mecha.

Liczba wiernych: 2434