L’edificio attuale venne eretto alla fine del XIX secolo nel luogo dove nel 1523 la Confraternita della Carità aveva fatto costruire una cappella dedicata alla Beata Vergine Annunciata e agli apostoli Filippo e Giacomo. Quest’ultima era situata nell’area oggi occupata dal Monumento ai Caduti e la porta d’ ingresso si trovava all’incirca in mezzo all’attuale Strada Provinciale con il sagrato che andava oltre. Il piano della navata era molto più basso del livello stradale odierno e aveva una scaletta di accesso dalla strada. Dell’antico arredo sopravvive la pala dell’altare maggiore, eseguita da un pittore bresciano nella prima metà del XVII secolo, raffigurante la Madonna in gloria con il Bambino e i santi Filippo e Giacomo, delineati su uno sfondo di sapore antiquariale in cui è riconoscibile un tratto del Colosseo inserito tra edifici di fantasia. Di particolare pregio è inoltre il Polittico di San Filastrio composto da 7 pannelli dipinti a olio su tavola, alcuni dei quali sono attribuiti al celebre pittore bresciano Girolamo Savoldo che li avrebbe eseguiti verso il 1510.