Nel 1381
una sezione del Colosseo fu donata alla confraternita religiosa del Santissimo Salvatore
ad Sancta Sanctorum, detta anche del Gonfalone, alla quale dal 1490 fu permesso di tenere
rappresentazioni della passione di Cristo nell'anfiteatro. Gli umanisti avevano riscoperto
la funzione dell'anfiteatro, ed era opinione comune credere che fosse stato il luogo del
martirio di molti primi cristiani. Migliaia di persone si affollarono sulle rovine per
parteciparvi; le rappresentazioni del Gonfalone si tennero sino al 1539, quando furono
bandite perché suscitavano l'odio per gli ebrei e furono fonte di molti incidenti e
tumulti.
In questo periodo la proprietà del monumento era divisa tra questa Confraternita, il Senato Romano e la Camera Apostolica. La Confraternita iniziò ad utilizzare le pietre del Colosseo ove erano già cadute, e sebbene nel XV secolo i Papi avessero iniziato a riparare alcuni ruderi, l'asporto di materiali durò per secoli. Pare che nel XV secolo si fecero degli scavi che portarono alla luce le condotte che attraversano le fondamenta e la pavimentazione attorno all'anfiteatro, che furono poi riscoperte nel 1895.
E' noto che nel 1439 le pietre furono utilizzate per riparare la tribuna della Basilica di S. Giovanni in Laterano, che solo nel 1452 ben 2.522 carichi furono asportati da un tal Giovanni Foglia di Como, e che dieci anni più tardi i travertini furono impiegati per la costruzione della Scala Santa e per la piazza ed il loggiato delle Benedizioni a San Pietro.
Oramai la licenza di asportare materiali (ovviamente, a pagamento) era facilmente
concessa dai Papi, i quali approfittarono della disponibilità di tale ampia ed economica
fonte di materiali per realizzare i loro progetti, mentre ufficialmente negli editti
favorivano la conservazione degli antichi monumenti.
Nel XV secolo i materiali furono utilizzati per riparare le mura della città, per
costruire la basilica di San Marco e Palazzo Venezia, nel XVI per il Palazzo della Cancelleria, Palazzo Farnese, i Palazzi senatorio e dei Conservatori sul Campidoglio, e nel XVII secolo per
la costruzione di Palazzo Barberini (e molti altri).
Alcuni Papi (Sisto V e Clemente X) progettarono un restauro dell'edificio. Sisto V intendeva utilizzare l'anfiteatro come filatoio, con le macchine al piano terreno e le case dei lavoratori nei piani più alti. Altri progetti furono avviati da Clemente, ma per mancanza di fondi non furono mai realizzati.
Nel XVII secolo il monumento era ancora una volta divenuto ricettacolo di derelitti e criminali. Dopo lunghi anni di abbandono, nel 1700 Papa Clemente XI fece chiudere gli archi, pose una croce nell'arena ed utilizzò il Colosseo come deposito di letame per la produzione di salnitro, a beneficio di una vicina fabbrica di polvere da sparo.
Nel 1703 altri travertini crollarono a causa di un terremoto, e Papa Clemente trovò il
modo di impiegarli per la costruzione del monumentale porto di Ripetta. Nel 1749, dopo
altri decenni di decadimento, papa Benedetto XIV dichiarò il monumento chiesa pubblica,
consacrata alla memoria della passione di Cristo e dei Suoi Martiri; così almeno si pose
fine alla rimozione delle pietre. Ai margini dell'arena furono poste le stazioni della via
Crucis, ed una nuova croce fu sistemata al centro.
Il Papa fondò anche una Arciconfraternita religiosa dedicata a Gesù e Maria, che iniziò
a tenere processioni, che iniziavano dalla sede dell'Arciconfraternita presso l'oratorio
della chiesa dei Santi Cosma e Damiano, percorreva la Via Sacra attraverso il Foro ed
entrava nell'anfiteatro. I visitatori trovavano la processione molto spettacolare (vedi
immagine a destra), e ne hanno lasciato immagini e resoconti.
