Cresque a Graz (Austria), i estudia a la Wiener Musikakademie. Fou violoncel·lista de l’Orquestra Simfonica de Viena des del 1952 fins al 1969, sota la direccio de Herbert von Karajan. Contrariament a la inclinacio d’aquest, dominant a l’epoca, es dedica intensament a l’estudi i a la interpretacio d’obres amb criteris historicistes i instruments d’epoca. Amb aquest objectiu, el 1953 funda amb la seva muller, Alice Hoffelner, el Concentus Musicus de Viena, dedicat sobretot a la interpretacio de peces que van des de l’alta edat mitjana fins a l’epoca barroca, amb instruments originals. Amb la mateixa filosofia, feu tambe incursions en el repertori classic (Mozart, Haydn, Beethoven). Inicia l’activitat concertistica el 1957, i des del 1960 les gires internacionals, en les quals aconsegui un gran reconeixement. Entre les fites de l’orquestra, cal esmentar els enregistraments dels Concerts de Brandenburg , de J.S. Bach ?(1962) i, en col·laboracio amb Gustav Leonhardt , el cicle complet de les Cantates (1971-91) d’aquest mateix compositor. Entre el 1975 i el 1979 dirigi, a l’Opera de Zuric, un historic cicle de les tres operes de Monteverdi ?(de les quals feu tambe enregistraments historics).

Des dels anys vuitanta dirigi orquestres amb instruments moderns, entre d’altres l’Orquestra de Cambra d’Europa, l’Orquestra del Concertgebouw d’Amsterdam i les orquestres filharmoniques de Berlin i de Viena, amb les quals interpreta el repertori classic i romantic. Del 1972 al 1993 exerci la docencia al Mozarteum de Salzburg, i el 1994 dirigi en aquesta ciutat austriaca el cicle complet de les simfonies de Beethoven. Enregistra mes de tres-cents discs amb les grans obres de Bach, Mozart, Haydn, Beethoven, Schubert, Mendelssohn i Schumann. L’octubre del 1999 inaugura la XVI temporada de concerts d’Ibercamera a l’Auditori de Barcelona. L’any 1985 funda a Graz el festival Styriarte. El 1983 fou nomenat membre de la Reial Academia Sueca de Musica d’Estocolm i el 1987 fou distingit amb el doctorat honoris causa per la Universitat d’Edimburg. Rebe, entre d’altres, els premis Ernst von Siemens (1974), Erasmus (1980), el premi honorari d’or de la Critica Discografica Alemanya pel seu compromis amb la musica antiga (1985) i els premis a la trajectoria: Polar de musica (1994), Kyoto (2005), Gramophone (2009) i ECHO-Klassik (2012). Exposa les seves concepcions musicals en Musik als Klangrede (‘La musica com a discurs sonor’, 1982) i en altres assaigs.