1832'de, Tokat'ta, Yağcıoğulları ailesinin bir bireyi olarak dünyaya geldi. Beşiktaş'taki Askerî Rüştiyede ve Kuleli Askerî İdâdîsinde (lisesinde) okudu. Harbiye'yi yirmi yaşında ikincilikle bitirdi. Harp Akademisine girdi. Kırım Savaşı'nın çıkması üzerine Tuna cephesine gönderildi. Burada dört yıl kalarak, Teğmenliğe yükseldi. Savaşın sonunda ise Yüzbaşı oldu.
Genelkurmay Başkanlığı'nda çalıştığı zamanlarda Osmanlı Devleti'nin nüfus sayımı ile kadastro usulünde haritasının çizilmesi kararlaştırıldıgından, Bursa ilinden başlanması üzerine bu göreve askeri temsilci olarak tayin edildi. 1861'da Teselya'da, Yenişehir'de ve Cebel-i Lübnan'da görev aldı. Girit isyanları nın başlaması üzerine Girit'e tayin edildi. 1866'da Girit'teki çalışmalarından dolayı Serdar-ı Ekrem Ömer Paşa'nın takdirini kazanarak Miralay (Albay) oldu.
Yemen'e gönderildi. Arkasından Paşa rütbesiyle 1875 yılında Rumeli'de bulunan 5. Ordu'ya bağlı Manastır Fırka (tümen) Komutanlığına tayin edildi. Buradaki çalışmalarından dolayı Birinci Ferik (Korgeneral) oldu. 27 Haziran 1876 yılında Sırbistan'ın, Osmanlı Devleti'ne ültimatom vermesi sebebiyle, Osman Paşa Vidin komutanlığına getirildi. Sırp İsyanları başlayınca emrindeki birliklerle İzver tepelerini ve Zayçar kasabasını geri aldı ve bu nedenle Sırp ordusu çekilmek zorunda kaldı. Osman Paşa'nın hedefi Belgrad'ı almaktı ancak Seraskerden izin verilmedi, zira şartlar uygun değildi. 1876'da bu savaşın hemen ardından Müşir (Mareşal) oldu. Osman Paşa'yı tanıtan, 1877-1878 Osmanlı-Rus Savaşı'ndaki Plevne Savunması'dır.
93 Harbi'nde 145 günlük Plevne Savunmasını komuta ettikten sonra kuşatmayı yararak şehirden çıkışında yaralanan, ancak müdafaa hattı stratejileriyle esir bulunduğu dönemde Rus çarından bile saygı görmüş, dönemin tüm komutanları tarafından örnek alınan Osmanlı Ordusu'nun komutanıdır. Ayrıca siper kazma yöntemini ilk bulan kişidir.
5 Nisan 1900'de 68 yaşında öldü. Türbesini, onu çok seven ve saygı duyan Padişah II. Abdülhamid yaptırmıştır. Fatih Camii avlusuna gömüldü.
Adına marş yazıldı;
Tuna nehri akmam diyor
Etrafımı yıkmam diyor
Şanı büyük Osman Paşa
Plevneden çıkmam diyor
Günümüzde İstanbul'da bir ilçenin adı da Gazi Osman Paşa'dır. Belediye önünde bir heykeli bulunmaktadır. Ayrıca aynı isimde memleketi Tokat'ta üniversite ve lise vardır.
