Devrin Osmanlı Padişahı II. Abdülhamit döneminde 30 Mayıs 1906'da inşaatına başlanmış ve 1908'de hizmete girmiştir. Binanın bulunduğu sahaya III. Selim'in paşalarından Haydar Paşa'nın adı verilmiştir. Binanın inşaatını Anadolu Bağdat adı altında bir Alman şirketi gerçekleştirmiş, ayrıca bir Alman'ın teşebbüsüyle garın önünde mendirek inşa edilerek, Anadolu'dan gelecek veya gidecek vagonların ticari eşyalarını yükleme ve boşaltma yapabilecekleri tesisler yapılmıştır. Projesini iki Alman mimar Otto Ritter ve Helmuth Conu hazırlamış, inşaat sırasında Alman ustalarla İtalyan taş ustaları birlikte çalışmıştır. Birinci Dünya Savaşı sırasında gar deposunda bulunan cephaneler 1917'de yapılan bir sabotajla çıkan yangın sonucu patlamış ve binanın büyük bir bölümü hasar görmüştür. Yeniden onarılan bina bugünkü şeklini almıştır. 1979'da ise Haydarpaşa'nın açıklarında Independente adlı tankerin bir gemiyle çarpışmasıyla oluşan sıcaktan ve patlamadan dolayı binada O. Linneman adlı ustanın yaptığı kurşun vitraylar hasara uğramıştır. Aslına uygun olarak yeniden onarılan bina, 1976'da geniş çapta onarılarak 1983'ün sonunda dört dış cepheyle iki kulenin restorasyonu tamamlanmıştır.