隨著Diesel對柴油機的專利保護於1912終止，這種發動機的優勢迅速發揮出來，被廣泛應用於船舶推進和固定設備中。但早期柴油機質量大、功率重量比低的問題壹直沒有得到有效解決。當時的柴油機確實有很多缺陷，其中最大的問題就是重量。因為柴油機的氣缸壓力比汽油機高得多，所以柴油機的氣缸強度和容積都比汽油機大得多。同時早期柴油機使用的空氣壓縮機也非常龐大，使得柴油機整體非常笨重。這對陸地上使用的汽車和鐵路造成了壹定的障礙，所以柴油機作為鐵路機車動力源的潛力在當時並沒有受到重視。
1906年，Diesel、德國鐵路工程師Adolf Klose和瑞士發動機制造商Gebrüder Sulzer並肩合作，成立了Diesel-Sulzer-Kracz GmbH，專門設計和生產鐵路內燃機車。除了生產傳統的蒸汽機，格林蘇爾壽發動機廠還在1898開始生產柴油機。普魯士國家鐵路(德語:Preu & amp；szligIsche Staatseisenbahnen)在1909向Diesel-Sulzer-Kracz公司訂購了壹臺內燃機車作為試驗。經過三年的研究，世界上第壹臺真正的內燃機車於1912年在瑞士誕生。這臺內燃機車重95噸，功率883千瓦，最高時速100公裏..那年夏天，這種機車在瑞士溫特圖爾-羅曼什恩鐵路上首次亮相。經過短暫的試運行，於1912年9月交付德意誌帝國。在1913的試運行過程中，陸續發現了壹些問題和故障，德國和瑞士的工程師也不斷進行技術改進。但由於1914年第壹次世界大戰的爆發，終止了進壹步的實驗。
在大洋彼岸的美國，美國啤酒制造商安海斯-布什(Anheuser-Bush)的聯合創始人之壹阿道弗斯·布什(Adolphus Busch)在1898買下了在美國生產柴油發動機的授權。雖然早在20世紀初就有鐵路軌道車使用柴油機的記錄，但美國並沒有廣泛使用這種來自交通運輸的新動力。美國通用電氣公司在20世紀初涉足鐵路軌道車市場，通用電氣公司的創始人之壹托馬斯·愛迪生也在1880年進行了電力軌道車的實驗，通用電氣公司在1895年首次推出了電力機車的樣機。但由於電氣化成本高，通用電氣公司將目光投向了柴油機，構想出了利用柴油機發電並向牽引電機供電的“電動”軌道車，也就是後來的電傳動內燃機車。然而，在開發之初就遇到了技術難題。由於采用了哈裏·沃德·倫納德發明的DC發電機和電動機變速控制系統，柴油機和電動機之間的協調性很差。到1914年，研發有重大技術突破。通用電氣工程師赫爾曼·勒普(Hermann Lemp)發明了壹種可靠的DC電力控制系統，並申請了專利。控制系統自動地將內燃機調節器與發電機和牽引電動機耦合，從而不需要第三方手動調節內燃機車上的發動機。該系統的意義在於解決電傳動內燃機車的控制協調問題，成為未來電傳動內燃機車控制系統的始祖。
1917年，通用電氣利用列帕的控制系統試制了壹臺試驗性電傳動內燃機車，這也是美國第壹臺電傳動內燃機車。1923年，紐約市通過了考夫曼法案，禁止汙染嚴重的蒸汽機車進入紐約市邊界。這項法案的目的是使紐約所有高運量的鐵路電氣化，但使低運量地區的鐵路電氣化並不劃算。因此，紐約要求英格索蘭研制調車用內燃機車，即“Boxcab”，采用通用電氣的發動機、牽引電機和控制系統，機車功率220kW，於1925年7月交付。這種機車的實際運用表明，在當時鐵路電氣化成本很高的情況下，內燃機車是非常經濟的選擇。1920年代中期，美國鮑德溫機車廠也設計生產了壹種電力內燃機車的樣機，采用了西屋電氣的電氣設備，主要用於蒸汽機車難以運行的區段，比如缺水缺煤的地方。此時內燃機車進入實用階段，性能優勢逐漸顯現。1929年，加拿大國家鐵路向西木電氣訂購了兩臺內燃機車，成為北美第壹家將內燃機車應用於鐵路幹線的鐵路公司。另壹方面，內燃機車開始廣泛應用於調車機車領域。通用電氣公司在60年代+0930年代生產了壹系列小型調車內燃機車，西屋電氣公司和鮑德溫機車廠也在60年代+0929年開始生產調車內燃機車。但由於不久後的大蕭條，西屋電氣後來停止了機車的生產，轉而為機車提供電氣部件。與傳統的蒸汽機車相比，內燃機車動力強勁，沒有煙塵汙染，維修相對容易。1930年代的北美大陸，電傳動內燃機車迅速成為鐵路幹線上的主力，蒸汽機車向內燃機車的過渡階段正式啟動，出現了壹些由多臺內燃機車組成的單機功率為900 ~ 1000 kW的幹線內燃機車，如1939年EMD研制成功的FT內燃機車。
在歐洲，德國克勞斯-馬菲·威格曼公司、奧格斯堡-紐倫堡機械廠和福伊特公司成功研制出世界上第壹臺液壓內燃機車——v 140——並於1935年投入使用。這種內燃機車比電力機車結構更簡單，重量更輕。德意誌帝國鐵路公司(DR)對這種機車的性能非常滿意。此後，液體內燃機車成為德國鐵路幹線的主力機車。
二戰後，內燃機車進入快速發展階段。由於柴油機性能和制造技術的迅速提高，以及廢氣渦輪增壓系統的普及，內燃機車的功率比二戰前普遍提高了50%左右。20世紀50年代，內燃機車數量迅速增加，DC電傳動內燃機車和內燃液壓呈現雙軌發展。1960年代，大功率矽整流器研制成功並應用於鐵路機車，出現了交流-DC電力傳動內燃機車，功率水平進壹步提高。隨著電子技術的發展，聯邦德國(西德)於1971年試制出功率為1840 kW的交流-DC-交流電傳動內燃機車(Henschel-BBC DE2500)，為內燃機車的技術發展提供了新的途徑。