Jos Vermunt studeerde koordirectie bij Reinier Wakelkamp aan het Utrechts Conservatorium en orkestdirectie bij Lucas Vis aan het Koninklijk Conservatorium te Den Haag. In de zomers van 1988 en 1989 werd hij geselecteerd voor de orkestdirigentenklas van maestro Gennady Rohzdestvensky aan de Accademia Musicale Chigiana in Siena, Italië.

Hij is dirigent van het Toonkunstkoor Utrecht, het Residentie Kamerkoor, het Residentie Bachkoor en het Residentie Bachorkest. Ook dirigeert hij educatieve projecten bij het Randstedelijk Begeleidingsorkest en werkt hij regelmatig als repetitor met het Nederlands Kamerkoor. In 2008 was hij gastdirigent bij het Brabants Orkest. De afgelopen jaren bracht hij composities in première van Willem Wander van Nieuwkerk, Peter-Jan Wagemans, Christian Ernst Graf, Frans van Doorn en Joost Kleppe.

Tijdens de koninklijke uitvaartdiensten van Prins Claus, Koningin Juliana en Prins Bernhard had Jos Vermunt de muzikale leiding. Hij verzorgde ook de muziek voor de huwelijksdienst van Prins Constantijn en Prinses Laurentien en de doopdiensten van de prinsessen Alexia en Ariane en gravin Leonore. Eind 2006 ontving hij uit handen van Koningin Beatrix het Erekruis van de Huisorde van Oranje.
Jos Vermunt is hoofdvakdocent koordirectie aan het Koninklijk Conservatorium Den Haag en aan het Conservatorium van Amsterdam.