A török hódoltság idején a többi templomhoz hasonlóan romba dőlt, a 17. század végén már csak a falai álltak. A templomot valószínűleg az eredeti felhasználásával a 18. század elején újjáépítették, az egyszerű egy hajós, kis huszártoronnyal ellátott épület első ábrázolását az 1740-es évekből ismerjük. A század második felében a templomot beboltozták, ehhez az építkezéshez kapcsolódik a búcsúk történeténél említésre kerülő 1774. évi felszentelés.

A templom tornya 1882-ben épült, berendezése pedig az 1840-es évek második felében készült abból a pénzből, amelyet Vargha János győri kanonok hagyott a templomra. Vörös márvány főoltár klasszicista, Ridmiller Ferenc műve (1846). Oltárképe Kuppelwieser alkotása 1846-ban. (Késő barokk-klasszicista stílus.)

Az újkortól kezdve már csak temetői kápolnaként és búcsújáróhelyként működik. Ide kötődik a város messze földön ismert Nagyboldogasszony-napi búcsúja. Hagyományosan évente csak néhány alkalommal miséztek benne, a város fogadalmi ünnepén: Szent Flórián napján, a juhászok ünnepén: Szent Vendel napján, valamint búcsúkor és Halottak napja előestéjén. Szomszédságában áll a 19. században épült kálvária, amely egyben a domonkos szerzetesek temetkezési helye is volt.

A mai állapotok szerint az oltárképet ellopták. A templom felújításra szorul.
Búcsúnapján a Nagyboldogasszony napjához közelebb eső vasárnap a plébániatemplomtól ide jön fel a körmenet. Az ünnepi szentmise pedig az említett kálvária előtt felállított szabadtéri oltáron van bemutatva. A temetőkápolnában pedig alatta gyóntatás folyik. A körülmények ellenére a búcsú nem veszített erejéből és most is nagy érdeklődés övezi.