Mart Kalm on sündinud Tallinnas toimetajate peres. Käis Tallinna II Keskkoolis (nüüd Reaalkool). Õppis 1979-84 Tartu ülikoolis ajalugu ja kunstiajalugu. Kaitses 1991 väitekirjaga arhitekt Alar Kotlist kunstiteaduse kandidaadi kraadi Moskvas Üleliidulises Arhitektuuri ja Linnaehituse Ajaloo ja Teooria Teadusliku Uurimise Instituudis. Doktorikraadi kaitses Eesti sõdadevahelise perioodi arhitektuurikultuurist 1998 Eesti Kunstiakadeemias.
Arhitektuuriajaloolasena on ta peamiselt uurinud Eesti arhitektide loomingut nii enne kui pärast Teist maailmasõda. Tema peateos on mahukas “Eesti 20. sajandi arhitektuur” (2001, 22002, Kultuurkapitali suur aastapreemia). Vabariigi sajanda juubeli raamatusarjas ilmus 2018 „Eesti arhitektuuri 100 aastat“. Kirjutanud monograafia arhitekt Alar Kotlist (1994, Kr. Raua preemia), koos näitusega valmis raamat Olev Siinmaast (2011). 2010 ilmus tema koostatud “Eesti kunsti ajaloo” V köide (1900-1940), mis pälvis ajalookirjanduse aastapreemia. Kirjutas eesti funktsionalismi arhitektuurijuhi (1998) ja on osalenud mitme teatmeteose koostamisel. On lähemalt uurinud kolhoosiarhitektuuri ja viimastel aastatel võrdlevalt Baltimaade sõdadevahelist arhitektuuri. 2011 pälvis riigi teaduspreemia.
Mart Kalm on olnud aktiivne arhitektuurikriitik, keda sageli on huvitanud maastiku- ja sisearhitektuur, nooruses kirjutas ka kunsti- ja disainikriitikat. Sageli on ta sõna võtnud muinsuskaitse küsimustes, aga osalenud ka praktilises restaureerimistegevuses (Riigikoguhoone, Presidendi kantselei, Villad Rüütli 1a ja Lõuna 2b Pärnus), aastal 2004 tegi ta Muinas-TV saatesarja. Ta on pikalt kuulunud Muinsuskaitseameti ehitusmälestiste ekspertnõukogusse, 2006-10 juhtis Muinsuskaitsenõukogu. Aastatel 2010-13 oli ta UNESCO Maailmapärandi komitees Eesti delegatsiooni kaasjuht.
Eesti Kunstiakadeemias töötab Mart Kalm a-st 1992, professor on a-st 2000. Aastatel 1994-2007 ehitas ta üles kunstiteaduse instituudi. 2007-12 oli kunstikultuuri teaduskonna dekaan ja seejärel teadusprorektor. Valiti 2015 ja uuesti 2020 Eesti Kunstiakadeemia rektoriks.
Eesti Teaduste Akadeemia akadeemikuks valiti 2010, on aastast 2014 akadeemia asepresident.
Valiti 2018 Euroopa Kunstiinstituutide Liiga (ELIA) tegevnõukokku.
On abielus kunstnik Anu Kalmuga ja neil on täiskasvanud lapsed Gustav ja Helga.
2020 valiti Mart Kalm teist korda Eesti Kunstiakadeemia rektoriks, tema ametiaeg kestab viis aastat.