Jos van Veldhoven studeerde muziekwetenschap aan de Rijksuniversiteit Utrecht en koor- en orkestdirectie aan het Koninklijk Conservatorium Den Haag. Als gastdirigent leidde hij onder meer het Nederlands Kamerkoor, het Groot Omroepkoor, het Vlaams Radiokoor, het Beethoven Orchester Bonn, de Robert Schumann Philharmonie, de Essener Philharmoniker en het Brabants Orkest. Met regisseur Dietrich Hilsdorf maakte hij een cyclus geënsceneerde oratoria van Händel in de operahuizen van Bonn en Essen.

Veelvuldig trekt Jos van Veldhoven de aandacht met uitvoeringen van ‘nieuw’ repertoire binnen de oude muziek. Opzienbarend waren onder meer uitvoeringen van oratoria van Telemann en Graun, vespers van Gastoldi, reconstructies van Bachs Markus Passion, de Köthener Trauer-Music en vele onbekende zeventiende-eeuwse dialogen. Daarnaast leidde hij een groot aantal eigentijdse premières van barokopera’s van onder andere Mattheson, Keiser, Bononcini, Legrenzi, Conti en Scarlatti.

Onder zijn leiding kwam een indrukwekkende cd-serie met de grote werken van Bach tot stand en maakte de Nederlandse Bachvereniging concertreizen in Europa, de Verenigde Staten en Japan. In 2007 werd Jos van Veldhoven benoemd tot ridder in de orde van de Nederlandse Leeuw om zijn baanbrekende werk voor de oude muziek.
Jos van Veldhoven is docent koordirectie aan het Conservatorium van Amsterdam en het Koninklijk Conservatorium Den Haag.