Ertegün 1923 yılında İstanbul'da doğar. Babasının görevi dolayısıyla İsviçre, Paris ve Londra'da eğitim gören Ertegün, 1935 yılında babasının Washington'a Türkiye Büyükelçisi olarak atanmasıyla birlikte ailesiyle beraber Amerika'ya gelir.

14 yaşındayken annesi, Cootie Williams'ın enstrumental West and Blues albümünü ve kayıt yapabilen bir plak makinesini ona hediye eder. Ertegün bir yandan çalarken kendi yazdığı sözleri mikrofona okuyor ve bunları kaydediyor, abisi Nasuhi Ertegün ile birlikte odalarında sevdikleri müzikleri dinliyorlardı. "16 yaşındayken bir pop müzik uzmanı sayılabilecek kadar bilgim, 18 yaşımdayken de 50 bin plağım vardı" diyen Ertegün, abisi ile beraber o yıllarda Duke Ellington, Lena Horne, Jelly Roll Morton gibi sanatçılarla arkadaşlık kurdu.

St. John's Üniversitesi'nde felsefe eğitimi gören Ertegün, 1945 yılında babasının ölümü ile ailesi Türkiye'ye dönerken ağabeyi ile birlikte Amerika'da kaldı. İki kardeş 1947 yılında Herb Abramson ile beraber, aile dostları olan diş hekimi Dr. Vahdi Sabit'den 10 bin dolar borç alarak Atlantic Records [1] adlı plak şirketini kurdu. Siyah müzisyenlerle arasındaki iyi bağlardan ötürü dönemin en önemli jazz müzisyenleri hiç düşünmeden anlaşmalarını onunla yapmışlardır.

1947'de Atlantic Records albümlerini çıkarmaya başladı. İlk olarak stüdyolarında Harlemaies'in "The Rose of the Rio Grande" albümü kaydedildi. 1949 yılının Nisan ayında çıkarılan Stick Mcghee'in "Drinkin' Wine Spo-Dee-O-Dee" albümü, 1 milyondan fazla satışı ile Atlantic'in ilk hiti oldu. 1955 yılında Elvis Presley'e kontrat imzalaması için 25 bin dolar teklif edildi, ancak 20 bin dolar farkla kontrat RCA plak şirketine satıldı. 1959'da Arif Mardin'de aralarına katıldı.

Ray Charles, Aretha Franklin, Ella Fitzgerald, Miles Davis gibi isimlere kasetler yapan Ertegün, Frank Zappa, Stevie Wonder, Rolling Stones, Bee Gees, Led Zeppelin, Genesis, Emerson Lake and Palmer, Bette Midler gibi birçok isimlerin üne kavuşmasında büyük rol oynadı.