太平興國寺始建年代無從考證。現在院內有壹塊石碑，是太平興國二年(977年)立的，是“賜平安興國寺”碑。由於年代久遠，風吹雨打，碑文已經模糊不清，只能分辨出三分之壹的字跡。可能由於字跡潦草，此碑文未被清代和熊的《浚縣金石錄》收錄。據浚縣文化人物傅先生介紹，碑文詳細記錄了當時有壹座沒有名字的寺廟，所有僧人上報朝廷，北宋皇帝給寺廟起名字的過程。對這塊碑文頗有研究的傅先生告訴記者，跳過難以辨認的字跡，仍然可以告訴我們，太平興國寺自晚唐、五代、十國時期就已存在。太平興國寺在唐代不叫寺廟，叫尼姑庵，後稱興國寺。直到太平興國第三年(978年)，宋太宗趙光義以自己的頭銜授予“太平興國寺”稱號，並立此碑以資紀念。五代十國時期，浚縣戰亂頻繁，太平興國寺屢遭廢棄。天成、乾佑、廣順年間，太平興國寺多次修復。
太平興國寺是中國唯壹以皇帝名字命名的寺廟。北宋皇帝趙光義與太平興國寺有著怎樣的不解之緣，讓他給這座古寺冠以這樣的稱號？當地流傳著壹個故事:
傳說趙光義攻入幽州時，被敵兵追趕。趙光義受了重傷，逃到了黃河岸邊，但他沒有乘船過河(當時黃河還沒有改道)。趙光義身負重傷，前面是洶湧的黃河，後面是敵軍。他的生命岌岌可危。這時，興國寺裏的和尚冒著生命危險把他救回寺裏，輪流照顧他，每天給他吃藥。在太平寺僧人的精心護理下，趙光義的傷很快痊愈。為了送趙光義過河，和尚們幾經周折，找到了靠在河上打魚為生的父女。飽受戰亂之苦的父女聽說大宋元帥要渡河，毫不猶豫地答應了。在壹個漆黑的夜晚，父女倆劃船送趙元帥過河。由於水急，他們被遊牧民發現了。遊牧民隨意向船上射箭，老漁夫身中數箭。彌留之際，他還不忘叮囑女兒把趙元帥送到彼岸。古玉忍受著父親去世的痛苦，劃著雙槳，終於把趙光義送出了虎口。後來，趙光義登上王位，成了皇帝。他聽說有壹座沒有名字的寺廟，不忘救命之恩，就用自己的名字給寺廟取名太平興國寺。太平興國三年(978)，立碑《太平興國寺故事》，紀念這段經歷。太平興國寺從此名聲大噪。