Il est né à Paris le 11 octobre 1951. Ses parents sont des immigrés juifs polonais, arrivés en France dans les années 30 et naturalisés au lendemain de la Deuxième Guerre mondiale, grâce à leur participation à la Résistance. Militants communistes, Alter Goldman et Ruth Ambrunn se sont mariés en juin 1949. Troisième d'une famille de quatre enfants, Jean Jacques a vécu une enfance qu'il qualifie de banale, dans le XIXème arrondissement parisien, puis à Montrouge en banlieue.
Très tôt ses parents lui font apprendre le violon, puis le piano. A l'âge de 14 ans, il est choriste dans la chorale de l'église de Montrouge, les Red Mountain Gospellers. Il joue aussi de la guitare et de l'orgue sur le 45 tours que le père Dufourmantelle, directeur de la chorale décide d'auto-produire. C'est le premier contact du jeune homme avec les studios d'enregistrement.