De tempel van de Joden werd tijdens de Joodse opstand in 70 door Titus vernietigd. In 132 liet Hadrianus de tempel herbouwen als een tempel voor Jupiter waar ook hij aanbeden zou worden. Dit leidde opnieuw tot een Joodse opstand. De opstand werd neergslagen en Hadrianus dwong alle Joden Jeruzalem te verlaten. De tempel voor Jupiter Capitolinus werd in 135 voltooid.
In dezelfde periode gaf Hadrianus opdracht voor de bouw van een tempel voor Jupiter te Baalbek. Het vloerplan van die tempel lijkt in grote lijnen identiek geweest te zijn met de tempel te Jeruzalem, zodat er een reconstuctie gemaakt kan worden waar de tempel gestaan heeft en hoe deze er uit heeft gezien. De tempel bestond uit een hexagonale voorhof, een centrale hof en daarachter de eigenlijke tempel. Vermoedelijk stond voor die tempel, op de plek waar eens het het Heilige der Heiligen van de Joden was, een standbeeld van Hadrianus.
In 325 liet de tot het Christendom bekeerde Constantinus de tempel afbreken. De Pelgrim van Bordeaux meldde echter in 333 dat er nog twee grote standbeelden van Hadrianus te zien waren. Constantinus bouwde volgens de genoemde pelgrim op de tempelberg ook een Christelijke basilica. In 361 liet de laatste niet-Christelijke keizer Julianus Apostata de Joden hier hun tempel herbouwen. Een aardbeving in 363 beëindigde echter deze herbouw. Er is een getuige die aangeeft dat er in 400 nog een standbeeld van Hadrianus te paard geplaatst was.
In de zuidelijke muur bij de Huldah poort is een ingemetselde steen te zien die mogelijk onderdeel uitmaakte van het voetstuk van het standbeeld van Hadrianus dat voor de tempel van Jupiter stond. Op de steen staat
TITO AEL HADRIANO
ANTONINO AUG PIO
P P PONTIF AUGUR
D D
ofwel:
Aan Titus Ael[ius] Hadrianus
Antoninus Aug[ustus] Pius
de v[ader] van het v[aderland], pontif[ex], augur.
V[erondend] door de D[ecurions]
Moslims gingen er later ten onrechte vanuit dat de hexagonale voorhof van de door Hadrianus gebouwde tempel de locatie was van de tempel van de Joden en bouwden daar de Rotskoepel (691). Mogelijk was dit voorheen wel de locatie van een octagonale kerk die Constantinus bouwde1 2.