Il est né le 11 octobre 1951 à Paris, dans le 19e arrondissement, 3e d'une famille de quatre enfants. Sa mère, Ruth Ambrunn, née à Munich (Allemagne), et son père, Alter Mojze Goldman, né à Lublin (Pologne), furent héros de la résistance. Il a pour frère cadet l'auteur-compositeur Robert Goldman et pour demi-frère le militant d'extrême gauche assassiné Pierre Goldman. Bachelier en 1969, il poursuit ses études et intègre l'Edhec, dont il sort en 1973.
Il a d'abord chanté dans le groupe Red Mountain Gospellers en chorale puis avec The Phalanster et enfin avec Taï Phong (Grand Vent en vietnamien) avant de débuter sa carrière solo, qu'il a mise entre parenthèses quelques années pour fonder un trio, nommé Fredericks Goldman Jones, avec le gallois Michael Jones et l'américaine Carole Fredericks. Il a également écrit pour Jonnhy Hallyday, Marc Lavoine, Céline Dion etc… Il est également l'auteur de la chanson phare des Enfoirés pour les Restos du Coeur. Grand chanteur populaire, il a su toucher plusieurs générations de fans.