A mostani templom helyén egykis fatornyos kápona volt. ez 1855-re szűknek bizonyult és az állapota is leromlott. Ezért még ebben az évben a Kápolnai plébános új templom építését kérte Bartakovics Béla egri érsektől. Ő 250 lovaskocsi követ ajándékozott a demjéni kőbányából. ugyanakkor egy levelet is írt 1855 november 30-i keltezéssel a kompolti földesúrnak, gróf Károly Györgynek (az ő unokája volt gróf Károlyi Mihály miniszterelnök, később köztársasági elnök az első magyar köztársaság idején 1918 után) hogy segítse az építkezést. Ő azonban csak akkor volt hajlandó segíteni, ha a templom nam a kastélydombra épül, ez ugyanis a kastélyból való kilátást zavarta.
A helybéliek azonban ragaszkodtak a helyhez, így a templom fel is épült a kastélydombon. Károlyi egy vasat sem adott a templomra, de a hívek segítségével felépült a templom. Tervezője Szvoboda Antal gyöngyösi építész volt. A templomot 1858. szeptember 8-án szentelték fel Kisboldogasszony tiszteletére.

A templom nagy kincse a főoltárkép, melyről talán a kompoltiaknak fogalmuk sincs, hogy milyen értékes. A képet Than Mór híres magyar festő festette Rómában 1858-ban. A képet nem megrendelésre festette, hanem Pesten volt kiállítása akkor, amikor a kompolti templom felépült. Kompoltról egyszerű paraszt bácsik utaztak fel Pestre, hogy képet vegyenek a templomba. A kiállításon kinézték ezt a képet, de közölték velük, hogy ez olyan drága kép, hogy ők ezt nem fogják tudni kifizetni. Erre ők azt mondták, hogy vegyék úgy, hogy a kép el van adva, majd 3 hónap múlva visszajönnek és készpénzzel kifizetik. Vissza is mentek és kifizették 3 hónap múlva. A pénz annak a dohányak az ára volt, amit a faluban termesztettek és eladtak jó áron.

Másik érték az orgona, melyet Ludwig Mooser épített. Ma is eredeti állapotában és hangjában csodálhatjuk meg.