佛山寺，原名太山寺，相传为东汉光武帝刘秀所建，距今已有一千七百多年历史。


相传地黄三年（22年），刘秀起军反抗王莽，遭莽军围堵，退军至汴州（今开封市）一山岗。兵败之际，忽闻雷声大作，西方金光乍现，李秀率军朝金光方向突围，大破莽军。建武十一年（35年），为纪念此地，刘秀命名此岗为土山岗，并在此建寺，取名太山寺。

崇祯十五年（1642年）黄河泛滥，开封市遭洪水侵蚀，寺院建筑全毁。顺治十五年（1658），寺院得以重建。

光绪年（1892年），寺院得以重建，部分建筑得以修缮。

民国初年（1920年），曾翻修地藏殿、观音殿。

1972年，寺院很多古建筑、遗蹟等被人为破坏，大量建筑被拆除、石碑被炸毁或投放于井中掩埋。如今寺院内仍残留很多古碑、建筑残骸，但已无法修复，令人惋惜。

1978年，得周边佛教信众捐助，大雄宝殿得以修缮。

2016年，经政府决定，正式更名为佛山寺。