Il Pantheon fu costruito in origine come tempio dedicato a tutti gli dèi, o meglio alle sette divinità planetarie Sole, Luna, Venere, Saturno, Giove, Mercurio, Marte
Il primo Pantheon fu fatto costruire nel 27-25 a.C. da Marco Vespasiano Agrippa, amico e genero di Augusto, nel quadro della monumentalizzazione del Campo Marzio.
L'iscrizione originale di dedica dell'edificio, riportata sulla successiva ricostruzione di epoca adrianea, recita: M.AGRIPPA.L.F.COS.TERTIUM.FECIT traduzione: "Marco Agrippa, figlio di Lucio, console per la terza volta, lo costruì". Il terzo consolato di Agrippa risale appunto all'anno 27 a.C.. Tuttavia Dione Cassio lo elenca tra le opere completate da Agrippa nel Campo Marzio nel 25 a.C..
Dai resti rinvenuti alla fine del XIX secolo si sa che questo primo tempio era di pianta rettangolare con cella disposta trasversalmente, più larga che lunga (come il tempio della Concordia nel Foro Romano e il piccolo tempio di Veiove sul Campidoglio), costruito in blocchi di travertino rivestiti da lastre di marmo. L'edificio era rivolto verso Sud, in senso opposto alla ricostruzione adrianea, ma il suo asse centrale coincide con quello dell'edificio più recente e la larghezza della cella era uguale al diametro interno della rotonda; l'intera profondità dell'edificio augusteo coincide inoltre con la profondità del pronao adrianeo. Dalle fonti sappiamo che i capitelli erano realizzati in bronzo e che la decorazione comprendeva delle cariatidi e statue frontonali; all'interno del pronao si trovavano le statue di Augusto e dello stesso Agrippa. Il tempio si affacciava su una piazza (ora occupata dalla rotonda adrianea) limitata sul lato opposto dalla basilica di Nettuno.
Da Dione Cassio apprendiamo che la denominazione "Pantheon" non era quella ufficiale dell'edificio, e che intenzione di Agrippa era stata quella di creare un luogo di culto dinastico, probabilmente dedicato a dei protettori della famiglia Giulia (Marte, Venere e il Divo Giulio, ossia Cesare divinizzato).

L'edificio, distrutto dal fuoco nell'80 d.C. venne restaurato sotto Domiziano, ma subì una seconda distruzione sotto Traiano.
Sotto Adriano l'edificio venne interamente ricostruito. I bolli laterizi (marchi di fabbrica sui mattoni) appartengono agli anni 123-125 e si può ipotizzare che il tempio venne inaugurato dall'imperatore durante la sua permanenza nella capitale tra il 125 e il 128. Secondo alcuni il progetto, redatto subito dopo la distruzione dell'edificio precedente in epoca traianea, sarebbe attribuibile all'architetto Apollodoro di Damasco.Rispetto all'edificio precedente fu invertito l'orientamento, con l'affaccio verso nord.
L'edificio si salvò dalle distruzioni del primo Medio Evo perché già nel 608 l'imperatore bizantino Foca ne aveva fatto dono a papa Bonifacio IV, che lo trasformò in chiesa cristiana (Sancta Maria ad Martyres). È il primo caso di un tempio pagano trasposto al culto cristiano. Questo fatto lo rende il solo edificio dell'antica Roma ad essere rimasto praticamente intatto e ininterrottamente in uso per scopo religioso fin dal momento della sua fondazione.
Le tegole di bronzo dorato che rivestivano all'esterno la cupola furono asportate per ordine di Costanzo II, imperatore d'Oriente nel 663 e sostituite con una copertura di piombo nel 735. Gli elementi in bronzo della copertura del pronao e, forse, anche le sculture del frontone subirono la medesima sorte nel XVII secolo sotto papa Urbano VIII Barberini. Nello stesso periodo furono aggiunti ai lati del frontone due campanili, opera di Gian Lorenzo Bernini, presto conosciuti con il soprannome di "orecchie d'asino" e che furono eliminati nel XIX secolo.
Già nel XV secolo, il Pantheon venne arricchito da affreschi: forse il più noto è l'Annunciazione di Melozzo da Forlì, collocato nella prima cappella a destra di chi entra.
A partire dal Rinascimento il Pantheon è stato usato anche come tomba. Vi si conservano, fra gli altri, i resti dei pittori Raffaello Sanzio ed Annibale Carracci, dell'architetto Baldassarre Peruzzi e del musicista Arcangelo Corelli.

Un cenno a parte va fatto per le tombe dei re d'Italia: Vittorio Emanuele II, la cui tomba è collocata nella cappella adiacente all'affresco di Melozzo, il figlio Umberto I e la sua consorte regina Margherita. Queste tombe vengono mantenute in ordine da volontari delle organizzazioni monarchiche. Da segnalare le continue polemiche sull'opportunità di inumare al Pantheon i resti di Vittorio Emanuele III e di Umberto II a causa del comportamento addebitato ai Savoia nel periodo successivo alla Prima guerra mondiale e nel corso della Seconda guerra mondiale.Il Pantheon, anche se la sua conservazione è a cura e spese del Ministero dei Beni Culturali è, tuttora, una chiesa e vi vengono celebrate regolari messe e, soprattutto, matrimoni.