Cuando terminó la guerra, empezó a asistir a una escuela liberal en Chelsea, donde el Consejo del Condado de Londres había adoptado una política que trataba a los niños difíciles con un programa de experiencias culturales para ampliar sus horizontes. Duffy estuvo involucrado en varios episodios problematicos y fue trasladado a otra escuela para chicos difíciles en Kentish Town, donde una vez más se hizo hincapié en el tratamiento de los jóvenes problemáticos a través de la inclusión cultural, que incluyó viajes escolares a la opera, ballet, galerías de arte e instituciones culturales. Fue aquí que Duffy reveló sus propias tendencias creativas y al terminar la escuela se presentó a la Saint Martin's School of Art. En 1950 comenzó la escuela de arte con la intención de ser pintor, pero pronto se dio cuenta de que sus compañeros eran más talentosos y se mudó a un curso de diseño de vestuario "donde estaban todas las chicas bonitas". Terminó San Martín´s en 1953 e inmediatamente comenzó a trabajar como asistente de diseñador en Susan Small, después de lo cual trabajó para Victor Steibel, el diseñador preferido de la princesa Margarita. Después de esto, en una visita a París, le ofrecieron un trabajo en Balenciaga pero no pudo tomarlo porque su esposa June estaba embarazada de su primer hijo.
En 1955 Duffy comenzó a trabajar como artista de moda para Harper's Bazaar, donde entró en contacto con la fotografía comercial. Inspirado por las hojas de contactos fotográficos que vio pasar por el escritorio del director de arte, se buscó un trabajo como asistente de fotógrafo. Sin éxito, solicitó un trabajo con John French y posteriormente fue empleado en estudios Carlton y luego en Cosmopolitan Artists. Duffy continuó trabajando como asistente del fotógrafo Adrian Flowers y mientras trabajaba para Flowers recibió su primera comisión fotográfica de Ernestine Carter, quien fue editora de moda de The Sunday Times. En 1957 Duffy fue contratado por Vogue UK trabajando bajo el director de arte John Parsons, donde permanecería hasta 1963. Durante este tiempo trabajó de cerca con las modelos top Jean Shrimpton, que él presentó a David Bailey, Paulene Stone, Joy Weston, Jennifer Hocking y Judy Dent.
Con se compañeros fotógrafos, David Bailey y Terence Donovan, Duffy fue un actor clave en el Swinging Sixties, una cultura de alta moda y elegancia. Juntos, la "Black Trinity", como cariñosamente la llamaba Norman Parkinson, redefinió no sólo la estética de la fotografía de moda, sino también el lugar del fotógrafo dentro de la industria. Socializándose con actores, estrellas del pop, la realeza y los famosos Kray Twins, representaron a una nueva generación de fotógrafos y se encontraron elevados al status de celebridades. Duffy comentó sobre el choque cultural que los tres causaron en la industria, "antes de 1960, un fotógrafo de moda era alto, delgado y amanerado, pero nosotros tres somos diferentes, bajos, gordos y heterosexuales".
Aparte de Vogue, Duffy también trabajó para numerosas publicaciones, entre ellas Glamour Magazine, Esquire, Town Magazine, Queen Magazine, The Observer, The Sunday Times y The Telegraph Magazine. Trabajó para el director de arte suizo Peter Knapp y más tarde Foulia Elia, para Elle francesa por dos períodos el primero entre 1963 y 1968, y luego de nuevo entre 1974 y 1979. Duffy afirmó que hizo algunos de sus mejores trabajos trabajando con Elle. Duffy también fue un fotógrafo de publicidad comercial muy exitoso fotografiando campañas ganadoras de premios para Benson & Hedges y Smirnoff en los años 70 así como diseñando el concepto para Silk Cut que vendió a Paul Arden en Saatchi & Saatchi.
En 1965 Duffy fue contratado para realizar el segundo calendario de Pirelli que fue ejecutado en el sur de Francia. Fue encargado de fotografiar el calendario de nuevo en 1973, uno de los pocos fotógrafos encargados de dos, que creó en colaboración con el artista pop británico Allen Jones y el especialista en air brush Philip Castle. En 1968 creó una compañía de producción cinematográfica con Len Deighton llamada Deighton Duffy y produjo las adaptaciones cinematográficas del libro de Deighton Only When I Larf (1967) y del musical Oh! What a Lovely War, que fue lanzado en 1969. Continuando el interés de toda la vida de Duffy en la Primera Guerra Mundial en 1985 dirigió Lions Led By Donkeys para Channel 4 TV.
Duffy tenía una relación de trabajo de ocho años con el artista David Bowie y en cinco sesiones importantes en este período se produjeron las imagenes fotográficas para las cubiertas de tres álbumes, incluyendo el 1973 Aladdin Sane, 1979 Lodger y 1980 Scary Monsters (And Super Creeps). La contribución de Duffy tuvo una influencia significativa en la creación de la imagen pública camaleonica de Bowie y en 2014 Chris Duffy y Kevin Cann co-escribieron un libro que narraba estos trabajos titulado Duffy Bowie: Five Sessions.
En 1979 Duffy renunció abruptamente a la fotografía intentando quemar muchos de sus negativos en su estudio, pero afortunadamente los vecinos se opusieron al humo acre, el administrador fue llamado y gran parte de su trabajo fue salvado. Aunque un gran número de sus imágenes se perdieron, las que permanecen, colectivamente representan una historia visual integral de veinticinco años de cultura y moda británica. Duffy se dedico a los anuncios de televisión y en 1981 se unió a la productora de cine Lewin Matthews y en 1983 dirigió el video musical de Spandau Ballet "Gold", de ABC "All Of My Love" y dos videos pop para The Human League. Entre 1984 y 1986 Duffy trabajó para Paul Kramer Productions en Nueva York. A su regreso creó su propia compañía de producción cinematográfica 3DZ con sus dos hijos Chris y Carey y fue pionero en el formato de película Super16 filmando comerciales de televisión y videos pop incluyendo British Steel en 1988. En 1990 Duffy abandono la relacion con todo tipo de imágenes y siguió su pasión de toda la vida por la restauración de muebles y se convirtió en un restaurador acreditado BAFRA (British Antique Furniture Restoration Association). La historia de su vida y su trabajo está documentada en un documental de la BBC mostrado en enero de 2010 titulado The Man Who Shot the 60's. Duffy murió el 31 de mayo de 2010, después de sufrir de la enfermedad pulmonar degenerativa fibrosis pulmonar.
En 2008 el hijo de Duffy Chris comenzó The Duffy Archive y en octubre de 2009 el trabajo de Duffy fue exhibido por primera vez en la Galería Chris Beetles en Londres. El interés ha crecido año a año en el trabajo de Duffy y en 2012 Duffy tuvo doce exposiciones postumas internacionales, incluyendo tres exposiciones individuales de museo en el Alanari Photo Museum de Florencia, la Galería de Arte Monash en Melbourne, Australia y el Museo Centro De Historias en Zaragoza. El trabajo de Duffy también fue exhibido en la National Portrait Gallery (Beetles to Bowie), The Tate Liverpool (Glam) and the V&A (British Design 1947-2012). En junio de 2011, el hijo de Duffy, Chris, fue el autor de una monografía de las imágenes de Duffy, publicada por ACC Ediciones titulada Duffy-Photographer y presentada más de 160 imágenes icónicas de los años 1950, 1960 y 1970 y en 2011 el V & A Museum of London solicita imagenes de Duffy para su colección permanente.
