A ma 400 lakosú Kőszegszerdahely első okleveles említése 1374-ből származik. A Kazó-féle XVII. századi egyházlátogatási jegyzőkönyv szerint 1548-ban már önálló plébániája volt. A reformáció idején evangélikus lelkész működött itt.

A község középkori, a XVIII. században átalakított, kőfallal körülépített temploma a település közepén emelkedő magaslatra épült. 1674-ben Mindenszentek tiszteletére szentelték fel, 1698-tól ismét plébániatemplom. Akkori formájáról régi egyházlátogatási jegyzőkönyvekből értesülhetünk.

1744-ben a templom hajóját, 1752-ben pedig a tornyot renoválták. 1757-ben már fa szószéke és három oltára állt. A templomot kő kerítésfal veszi körül, amelynek délkeleti oldalán található a templomudvarra vezető kapu. A kapu pilléreit Szent Flórián és Nepomuki Szent János szobrai díszítik.

A templom legrégibb része a többszintes torony, amelynek ablakai arra utalnak, hogy hadászati célokat is szolgált. A torony legalsó szintje egyben bejárat. A második és harmadik szinten csak résnyílások bontják meg a felületet, a legfelső szinten az eredeti résnyílások helyébe barokk ablakok kerültek.

1975-ben történt felújítást megelőző kutatások sok adattal szolgáltak. A román periódusból néhány ablak, és a déli homlokzaton egy befalazott kapu került elő. A déli oldalon a sekrestye felől egy vörös kontúrokkal megfestett Kálvária jelenetet ábrázoló képet találtak.

A szentélyt terméskővel borított két lépcsős támpillérek erősítik. A homlokzaton lévő párkányok barokk koriak, egyszerű horgonyos kialakítással, kőből faragva.

A templom nyugati kapuja enyhén csúcsíves, gótikus bélletű. A torony alját, amelyen át a templomba lépünk, dongaboltozat fedi. A hajó nyugati oldalán orgonakarzat van, amely két pillérre támaszkodó csehsüveg boltívszakaszon nyugszik.

A szentélyt a legutóbbi felújítás során az új liturgikus rend szerint alakították át. Ennek során elbontották az egyszerű, falazott oltárt. Helyette új, sima vonalú márvány oltárasztalt állítottak fel a szentély közepén. Márványból készült a szentségház alépítménye is. Régi helyén maradt a középkori eredetű keresztelő medence, valamint a copf stílusú, négy apostol szoborral, címerrel és faragott párkánnyal díszített szószék, és a Szentlélek szimbólummal koronázott hangvető.

A szentély ablakai alatt állnak régi oltárának barokk faszobrai: Szent István, Szent Péter, Szent Pál, Szent László. Az északi hajófalon gazdag díszítésű baldachin alatt egy Immaculata szobor található.

A templom szentélye alatti kripta a Sibrik család temetkező helye. Utoljára 1980-ban temették ide a család egyik tagját.

A templom műemléki helyreállítása C. Harrach Erzsébet építész tervei alapján történt. Az új liturgikus tér kialakítása, és a gyertyatartók Dominek György tervei alapján készültek.