1857年，瑞士解剖學家和生理學家艾伯特·馮·克裏克發現了肌肉細胞中的顆粒結構。其他科學家也在其他細胞中發現了同樣的結構，證實了克裏克的發現。德國病理學家和組織學家理查德·奧特曼將這些顆粒命名為“生物母細胞”，並在1886發明了壹種染色方法來識別這些顆粒。奧特曼推測，這些粒子可能是細胞中誕生的獨立細菌。
1898年，德國科學家卡爾·本達利用希臘語中與“線”和“顆粒”相對應的兩個詞，將該結構命名為“線粒體”，沿用至今。壹年後，美國化學家leonor Michaelis發展了用還原性janus green染料溶液對線粒體進行染色的方法，並得出結論:線粒體參與了壹些氧化反應。該方法發表於1900，由美國細胞學家埃德蒙·文森特·考德裏推廣。德國生物化學家奧托·海因裏希·沃伯格成功提取出線粒體，分離出壹些催化與氧相關反應的呼吸酶，並提出這些酶可被氰化物(如氫氰酸)抑制的猜想。
在1923到1933的十年間，英國生物學家大衛·基林探索了線粒體中氧化還原鏈的物質基礎，確定了反應中的電子載體細胞色素。
沃伯格因“發現呼吸酶的本質和作用方式”於1931年被授予諾貝爾生理學或醫學獎。
弗吉尼亞大學最近的壹項研究表明，動植物細胞中的線粒體實際上是寄生細菌。早期寄生細菌可以為動植物提供能量，在細胞中作為能量寄生蟲存在，對宿主非常有利。新壹代DNA測序技術解碼了18細菌的基因組，這些細菌是線粒體的近親。