Piyanoda üstün yetenekli bir çocuktu. Salzburg'daki Mozarteum'da öğrenim gördü. Orkestra şefi olarak ilk kez 1927'de Almanya'nın Ulm kentinde dinleyici karşısına çıktı. 1927'den 1941'e değin Ulm ve Aachen'de, 1938'den 1945'e değin de Berlin Devlet Operası'nda orkestra yönetti. 1955'te Berlin Filarmoni Orkestrası'nın müzik yöneticisi oldu.

Nazi Partisi üyesi (1933-1945) olan Karajan, II. Dünya Savaşı'ndan sonra bir Müttefik mahkemesince aklandı, ama 1955'te ABD'de dinleyici karşısına ilk çıkışı halkın tepkisine yol açtı. 1950'lerin sonlarından başlayarak birkaç görevi bir arada yürüttü. 1956-1964 ve 1976-1989'a kadar Viyana Devlet Operası'nın yöneticiliğini ve 1956-1960 arasında Salzburg Festivali'nin sanat yönetmenliğini yaptı. Londra'daki Philarmonia ile çalıştı. Ayrıca Milano'da La Scala'nın başyönetmenlerinden biri ve New York Filarmoni Orkestrası'nın konuk orkestra şefiydi. 1967'de Salzburg Paskalya Festivali'ni düzenledi. 1969-1970'te Paris Orkestrası'nı yönetti ve 1977'de Viyana Devlet Operası'na döndü. Bütün bu bağlantıları sürdürürken Berlin Filarmoni Orkestrası müzik etkinliklerinin merkezi olarak kaldı, ama 1983'ten sonra bir dizi sürtüşme orkestra üyeleriyle arasının bozulmasına yol açtı. Nisan 1989'da sağlık nedenleriyle Berlin Filarmoni Orkestrası'ndan istifa etti.

Meslek yaşamı boyunca pek çok fırsatı değerlendirme olanağı bulan Karajan, sanatsal özgürlüğe düşkün bir müzikçidir. Serinkanlı bilinçlilik ve coşkulu duygusallık arasında mantıksal bir bağ kurmayı başarmış, yorumlarında yalnız müzik yeteneğini değil, inanılmaz içgüdüsüyle bestenin özünü kavrama gücünü de ortaya koymuştur. Wagner operalarının yanı sıra tümünü plağa doldurttuğu Beethoven ve Brahms senfonilerindeki yorumu da kusursuz kabul edilir.

Roger Vaughan'ın hazırladığı yaşam öyküsü Herbert von Karajan 1986'da yayımlanmıştır.