Rus-Yahudi bir göçmen ailesinin çocuğu olarak New York'ta doğmuştur. Orijinal soyadının Matuschansky olduğu iddia edilse de bu doğrulanamamışdır. Kayıtlarda ismi Walter John Matthowlarak geçmektedir. Gençliğinde New York'ta Yiddish tiyatrosuna katılmış ve bu sıralar sert bulduğu soyadını Matthau olarak değiştirmişdir.
II. Dünya Savaşı yıllarında Amerikan Hava Kuvvetlerinde B-24 Liberator uçaklarında telsizci olarak görev yapmışdır.
1955 yılında ilk filmini Burt Lancaster ile beraber oynayarak çevirmiştir. Sonrasında birkaç western filmde oynamış ve yönetmenlik deneyimlerinde bulunmuşdur.
1965 yılında başlayan Odd Couple serisi filmlerde Jack Lemmon ile başlayan serüveni uzun yıllar devam etmiş ve pek çok filmde birlikte rol almışlardır. Bu arada 1966 yılında The Fortune Cookie filmi ile en iyi yardımcı erkek oyuncu dalında Oscar'a uzanmışdır.
Matthau iki kez evlenmiş ve iki eşinden birer çocuğu olmuşdur. Kalp krizi nedeni ile yaşamını yitirdiğinde 79 yaşındaydı. Ancak tüm vücuda yayılmış kolon kanseri ile karşılaşılmasına karşın bu ölüm raporuna yansıtılmadı.
FİLMLERİ
Atomic Attack (1950) (kısa film)The Kentuckian (1955)The Indian Fighter (1955)Bigger Than Life (Tehlikeli Arzular, 1956)A Face in the Crowd (1957)Slaughter on Tenth Avenue (1957)King Creole (1958)Voice in the Mirror (1958)Ride a Crooked Trail (1958)Onionhead (1958)Gangster Story (1960) (+yönetmen)Strangers When We Meet (1960)Lonely are the Brave (1962)Who's Got the Action? (1962)Island of Love (1963)Charade (1963)Ensign Pulver (1964)Fail-Safe (1964)Goodbye Charlie (1964)Mirage (1965)The Fortune Cookie (1966)A Guide for the Married Man (1967)The Odd Couple (1968)The Secret Life of an American Wife (1968)Candy (1968)Hello Dolly! (1969)Cactus Flower (1969)A New Leaf (1971)Plaza Suite (1971)Kotch (1971)Pete 'n' Tillie (1972)The Laughing Policeman (1973)Charley Varrick (1973)
The Taking of Pelham One Two Three (1974)Earthquake (1974)The Front Page (1974)The Lion Roars Again (1975) (kısa film)The Gentleman Tramp (1975) (dokümenter)The Sunshine Boys (1975)Bad News Bears (1976)Casey's Shadow (1978)House Calls (1978)California Suite (1978)Portrait of a 60% Perfect Man (1980) (dokümenter)Little Miss Marker (1980)Hopscotch (1980)First Monday in October (1981)Buddy Buddy (1981)I Ought to Be in Pictures (1982)The Survivors (1983)Movers & Shakers (1985)Pirates (1986)The Little Devil (1988)The Couch Trip (1988)JFK (1991) Senator Russell B. LongBeyond 'JFK': The Question of Conspiracy (1992) (dokümenter)Dennis the Menace (1993)Grumpy Old Men (1993)I.Q. (1994)The Grass Harp (1995)Grumpier Old Men (1995)I'm Not Rappaport (1996)Out to Sea (1997)The Odd Couple II (1998)The Life and Times of Hank Greenberg (1998) (dokümenter)Hanging Up (2000)