Завинул получил классическое музыкальное образование в Венской консерватории и начал профессиональную
карьеру музыканта ещё в Австрии. Иммигрировал в 1959 году в США, где играл с Maynard Ferguson и Dinah Washington, затем присоединился к квинтету Cannonball Adderley в 1961. С Adderley он написал хит «Mercy, Mercy, Mercy», возглавивший поп-чарт журнала «Billboard» в 1967 году. В конце 1960-х Завинул
записывался со студийной группой Майлза Дэвиса, и тем самым оказался причастен к созданию стиля джаз-фьюжн. Среди прочего, он играл на альбомах Дэвиса «In a Silent Way», к которому написал заглавную композицию, и «Bitches Brew», в который внёс большой вклад двадцатиминутной композицией «Pharaoh’s Dance», занявшей всю первую сторону пластинки.
В начале 1970-х стал одним из основателей и лидеров фьюжн-группы Weather Report (вместе с Уэйном Шортером), которая добилась определённого успеха в 1970-х и 1980-х годах и получила премию Грэмми. В 1985 году Завинул и Шортер решили расстаться, и со второй половины 1980-х до своей смерти Завинул руководил музыкальным коллективом «The Zawinul Syndicate», состоящим в основном из музыкантов из Южной
Америки и Африки.
11 сентября 2007 года в возрасте 75 лет Джо Завинул скончался в Вене, спустя месяц после госпитализации.
Прочие факты мать Джо Завинула — цыганка. Ему принадлежит джазовый клуб «Birdland» в его родном городе Вене, Австрия.
Завинулу посвятили музыкальные композиции Брайан Ино (инструментал «Zawinul/Lava»), Джон Маклафлин (инструментал «Jozy»), Warren Cuccurullo («Hey Zawinul»).
Имеет почётную докторскую степень от «Berklee School of Music», являлся официальным австрийским послом доброй воли к 17 африканским странам.