Klein nació en Nueva York en una familia judía empobrecida. Se graduó de la escuela secundaria temprano y se inscribió en el City College de Nueva York a la edad de 14 años para estudiar sociología. Se unió al ejército estadounidense y fue destinado en Alemania y más tarde en Francia, donde se instalaría permanentemente después de ser dado de baja. En 1948, Klein se inscribió en la Sorbona, y más tarde estudió con Fernand Léger. En ese momento, Klein estaba interesado en la pintura y la escultura abstractas. En 1952, tuvo dos exitosas exposiciones individuales en Milán y comenzó una colaboración con el arquitecto Angelo Mangiarotti. Klein también experimentó con el arte cinético, y fue en una exposición de sus esculturas cinéticas que conoció a Alexander Liberman, el director de arte de Vogue.
A pesar de no tener un entrenamiento formal como fotógrafo, Klein ganó el Prix Nadar en 1957 por Nueva York, un libro de fotografías tomadas durante un breve regreso a su ciudad natal en 1954. El trabajo de Klein fue considerado revolucionario por su "acercamiento ambivalente e irónico al mundo de la moda ", su "rechazo intransigente de las entonces predominantes reglas de la fotografía" y por su uso extensivo de grandes angulares y teleobjetivos, iluminación natural y desenfoque de movimiento. Katherine Knorr, del New York Times, escribe que, junto con Robert Frank, Klein es considerado "entre los padres de la fotografía callejera, uno de esos cumplidos mezclados que clasifica a un hombre que es difícil de clasificar".
El mundo de la moda se convertiría en el tema del primer largometraje que Klein dirigió en 1966, ¿Quién eres tú, Polly Maggoo, que, al igual que sus otras dos obras de ficción, Mr. Freedom y The Model Couple, es una sátira. Ha dirigido numerosos documentales cortos y largometrajes, entre ellos el documental de cinéma vérité Grands soirs et petits matins, el documental de 1964 Cassius the Great, reeditado con nuevas imágenes como Muhammed Ali, The Greatest en 1969. Ha producido más de 250 comerciales de televisión. En 1982, dirigió The French, un documental sobre el campeonato de tenis francés Roland-Garros. Su trabajo ha sido a veces crítico abiertamente de la sociedad americana y de la política exterior. El crítico de cine Jonathan Rosenbaum escribió una vez que Mr. Freedom era "concebiblemente la película más antiamericana jamás realizada".
