Karl Madis on sündinud 1959. aastal Tallinnas.
Lapsepõlves õppis 5 aastat viiulit ja laulis lastekooris „Ellerhein“ Heino Kaljuste ja Tiia Ester Loitme käe all.
1984. aastal lõpetas Karl Georg Otsa nimelise muusikakooli saksofoni klassi Aleksander Rjabovi juhendamisel.
Tähelepanuväärne muusikukarjäär sai alguse esimesest esinemisest Eesti Televisioonis 1979.aasta maikuus.
Järgnes väike paus, kui sai veedetud kaks aastat sõjaväeteenistuses.
Peale sõjaväge, 1981. aastal loodi ansambel Mahavok tuntud muusikutega: Karl Madis, Heini Vaikmaa, Kalev Aas, Peeter Oronen, Raul Arras, Kristjan Kirme ja Sven Himma.
Esimene singel "Mahavok" kolme looga anti välja 1984. aastal ja duubel-CD, mis kandis samuti nime "Mahavok" salvestati alles hiljuti - aastal 2002.
Aastal 1983.a. sai loodud ansambel Karavan, mis 2013. aasta novembris sai juba 30 aastaseks. Kolmekümne aasta jooksul on koos Karavaniga salvestatud 3 LP-d ja 8 CD-d.

Karavan oli Eestis populaarseimaks ansambliks aastal 1985 ja samuti 1986.
Karl Madis valiti parimaks Eesti meessolistiks aastatel 1985, 1986 ja 2002.
Eestimaal on Karl Madis esinenud kõikidel suurtel lavadel kontsertidega kümneid ja kümneid kordi.
Aastatel 1985-86 anti ansambel Karavaniga kokku üle 200 kontserdi aastas.
Esinetud on USA’s, Kanadas, Soomes, Rootsis, Venemaal (Moskva), Viitebskis, Valgevenes (Minsk), Musta mere laevadel, Saksa laevadel ja Dublinis toimunud Eurovisioonil 1994.aastal.
Karl Madis ja Margus Martmaa esinesid Portugali pealinnas Lissabonis 2003.aastal.
Austraalias 2003-2004 aastavahetuse peol Adelaide's ja kontsertidega Melbourne'is ja Sidney's. Kohe peale seda lennati kontserti andma Los Angeles´i ja sealt edasi taas Torontosse.
2007.a. oktoobris oli Karavan taas Toronto Eesti Majas, kus nauditi ülimalt sooja vastuvõttu Karavani uue plaadi muusikale „Taevalik meloodia" Nat King Cole'i lauludest.
2009.a.oli kontsert New York’is ja Chicagos. Miamis oli võimalus laval olla ansambliga „Locos Por Juana“ ja Puerto Ricos kitarrivirtuoosiga Pedro Guzman’iga
2011.a. Oli koostöö Anne Veskiga suvetuuril Anne Veski juubelikontsert koos Uku Suviste ja Koit Toomega.

Suupill:
Aastal 2002 a. toimus Pärnus rahvusvaheline suupillifestival Baltic-Nordic Harmonica, kus osalesid nii professionaalsed kui ka amatöörmuusikud.
Festivalist olid osa võtma saabunud sadakond suupillimängijat ja kollektiive Saksamaalt, Suurbritanniast, USA-st, Soomest, Rootsist ja Eestist. Zürii kuulutas kromaatilise suupilli kategoorias parimatest parimaks Karl Madise.
Aastal 2004 sai Karl Madis Pärnu suupillifestivali peaauhinna Grand Prix ja Soome mootorsaekunstniku Kovaneni loodud puuskulptuuri.
Kaheksandat korda toimunud rahvusvaheline suupillimängijate kokkusaamine Pärnus on kujunenud suurimaks omalaadseks festivaliks Põhja-Euroopas.

Aastal 2007 sai Karl Madis Baltic-Nordic Harmonica suupillifestivali ajaloos kahekordseks Grand Prix omanikuks ja 1000 euro suuruse preemia.
2007. aasta oktoobris esines Karl Madis veel suure menuga Inglismaal Bristoli suupillifestivalil.
2009. aastal esines Karl Madis World Harmonica Festival 2009 Saksamaal Trossingenis ja oli märgitud diplomiga Excellent.
2011. juulis ja augustis mängis K.Madis Urmas Sisaski suupillikontserti Pärnus ja Narvas, mis on esimene suupillikontsert Eesti ajaloos.