Ciociaria'nın küçük bir köyü olan Fontana Liri'de doğan Mastroianni Torino ve Roma'da büyüdü. 1938-1943 yılları arasında birçok tiyatro oyununda küçük roller aldı. II. Dünya Savaşı sırasında çalışmaları kesintiye uğradı, bir Nazi hapishanesinde bir süre kaldı ama kaçmayı başararak Venedik'te saklandı.

Savaştan sonra Centro Universitario Teatrale' de çalışmaya başladı. Orada tanıştığı yönetmen Luchino Visconti, yönettiği bir oyunda (İhtiras Tramvayı) Mastroianni'ye rol verdi. Bu oyun sırasında Federico Fellini'nin eşi olan oyuncu Giulietta Masina ile tanışması kariyerinde önemli bir dönüm noktası oldu.

1945'te oyunculuk dersleri alarak sinema endüstrisinde çalışmaya başladı. İlk filmi olan ve Victor Hugo'nun romanından uyarlanan I miserabili (Sefiller), 1948 yılında gösterime çıktı.

1955 yılına kadar filmlerde küçük ve ikinci dereceden roller üstlendi. Ama her türlü role uyabilme kapasitesi ile kısa zamanda baş rollere çıkmaya ve ünlü yönetmenlerle çalışmaya başladı. Vicconti'nin Beyaz Geceler filminde başrolü üstlendi. 1960'ta çevrilen, Federico Fellini'nin yönetmenliğini yaptığı ve kısa zamanda kült film haline gelen La dolce vita (Tatlı Hayat), ömrünün sonuna kadar peşini bırakmayacak olan Latin Âşık yakıştırmasının doğmasına neden oldu. Ama Marcello, komediden politik filmlere ve dramlara her türlü rolde inandırıcı portreler çizdi.

İtalya'nın hemen hemen bütün büyük yönetmenlerinin filmlerinde yer alan oyuncu, 1985'ten itibaren daha çok yabancı yönetmenlerle çalışmaya başladı. Yunanlı Theo Angelopoulos, Rus Nikita Mikhalkov, Fransız Bertrand Blier ve Agnès Varda ABDli Robert Altman, İspanyol Raoul Ruiz, Portekizli Manoel de Oliveira ile filmler yaptı.

İtalyan tiyatro oyuncusu Flora Carabella ile 1948'de yaptığı evlilikten 1951 yılında doğan kızı Barbara, sinema sektöründe kostüm dalında çalışmayı seçti. Marco Ferreri'nin Lisa filminde tanıştığı Fransız oyuncu Catherine Deneuve ile ilişkisinden 1972 yılında doğan kızı Chiara ise bir oyuncu. Chiara, babasının son filmleri olan Les Yeux noirs (Siyah Gözler) ve Trois vies et une seule mort'da onunla birlikte rol aldı.

Marcello Mastroianni pankreas kanseri sonucu 19 Aralık 1996'da Noel'den beş gün önce Paris'te öldü.