Il est né le 15 août 1925 à Montréal, Québec, Canada.
Il commença à apprendre la trompette et son père lui apprit à jouer du piano à l'âge de cinq ans, mais vers l’âge de sept ans il se consacra au piano. Il gagna rapidement une réputation de pianiste techniquement brillant et de pianiste de jazz mélodieusement inventif, et devint un invité régulier des radios. Il apparut la première fois au Carnegie Hall en 1949.
Il joua et enregistra entre autres accompagné par Ray Brown, Herb Ellis, Ed Thigpen, Niels-Henning Orsted Pedersen, Louis Armstrong et accompagna Ella Fitzgerald, Clark Terry, et Joe Pass.
Un des grands tournants de sa carrière fut son engagement par l’impresario Norman Granz au sein de l'écurie Verve Records, grâce auquel il put jouer avec les artistes de jazz les plus importants du moment.
Ses premières influences furent Teddy Wilson, Nat King Cole, James P. Johnson et le légendaire Art Tatum, avec lequel beaucoup essayèrent plus tard de le comparer. En fait, Oscar s’imprégna des talents musicaux de Art Tatum assez tôt lorsqu’il avait dix ans et quand son père lui fit écouter un des disques de cet artiste, il fut si ému par ce qu’il entendit qu'il ne toucha pas le piano pendant plus d'un mois.
En 1993, Oscar fut victime d’une sérieuse attaque qui affaiblit son bras et sa main gauches et qui le rendit inactif pendant deux années. Cependant il surmonta cette infirmité et aujourd’hui il fait encore des tournées, enregistrant et composant comme il l’a toujours fait. En 1997 il reçut un Grammy Award pour l'ensemble de son œuvre et son inscription à l'« International Jazz Hall of Fame », preuve qu’Oscar Peterson est encore considéré comme l’un des plus grands musiciens de jazz de tous les temps.
Son travail lui valut sept récompenses au Grammy et il fut primé au Canadian Music Hall of Fame en 1978. Il a été fait Chevalier de l'Ordre national du Québec en 1991.
