1372年(明洪武五年)，宋公爵盛豐在蘭州以西7裏處修建了黃河浮橋，這就是中山橋的前身。
1376年(明洪武九年)，衛國公爵鄧禹將此橋移至城西10裏，稱為鎮遠橋。
1385年(明洪武十八年)，蘭州衛指揮將浮橋移至現在的位置——白塔山腳下。至今仍有蘭州建橋遺留下來的三根重10噸、長5.8米的鑄鐵舟柱，稱為“將軍柱”。柱上鑄有洪武九年八月吉日。”
1906年(光緒三十二年)，時任甘肅洋務總經理的彭英甲向朝廷發布公告，批準修建黃河鐵路橋。1906年10月，他承包給德國泰來洋行Kayous，總價165000銀。美國人寶本和德國人Dro進行技術指導。合同規定:“鐵路橋。黃河鐵路橋建成後，實際消耗白銀306690兩。最初命名為蘭州黃河鐵路橋。
1942年，為紀念孫中山先生，更名為“中山橋”。
1949年8月26日，解放蘭州戰役中，炮彈擊中兩輛過橋的國民黨軍車，車上彈藥爆炸。大火燒毀了木橋橋面和橋南端的壹些縱梁。軍管委組織300多人晝夜搶修。雖然修復後交通恢復，但人行橋橋面搖搖晃晃，難以承擔日益繁忙的運輸任務。
1954年，人民政府對鐵橋進行了全面的整修加固，並增設了五道弧形拱梁，使鐵橋看起來經久耐用，氣勢磅礴。
2006年，國家文物局將中山橋定為第六批全國重點文物保護單位。"