瑶金山寺始建于唐朝开元年间，据《昭萍志略》记载，金山观始建于唐开元年间，彭普明祖师住持在内。元大德四年寺院重建，清康熙四年寺院再次重修。现存寺院是康熙四年重建后的原型。解放前，瑶金山寺有僧侣300余人，解放后均离寺还乡。寺院房屋被单位占用，除正殿、大雄宝殿以外，其它房屋几乎全被拆毁。“文化大革命”期间，寺内数百尊佛像又被砸毁。十一届三中全会以后，清走了瑶金山寺内的所有机构，有僧人回寺主持，瑶金山寺基本得以恢复。现重修了正殿、大雄宝殿、观音堂、地藏王殿、斋堂、僧侣宿舍等建筑，修塑了几十尊佛像。