Nel 1381
una sezione del Colosseo fu donata alla confraternita religiosa del Santissimo Salvatore
ad Sancta Sanctorum. In questo periodo la proprietà del monumento era divisa tra questa
Confraternita, il Senato Romano e la Camera Apostolica. La Confraternita iniziò ad
utilizzare le pietre del Colosseo ove erano già cadute, e sebbene nel XV secolo i Papi
avessero iniziato a riparare alcuni ruderi, l'asporto di materiali durò per secoli.
E' noto che nel 1439 le pietre furono utilizzate per riparare la tribuna della Basilica di S. Giovanni in Laterano, che solo nel 1452 ben 2.522 carichi furono asportati da un tal Giovanni Foglia di Como, e che dieci anni più tardi i travertini furono impiegati per la costruzione della Scala Santa e per la piazza ed il loggiato delle Benedizioni a San Pietro.
Oramai la licenza di asportare materiali (ovviamente, a pagamento) era facilmente concessa dai Papi, i quali approfittarono della disponibilità di tale ampia ed economica fonte di materiali per realizzare i loro progetti, mentre ufficialmente negli editti favorivano la conservazione degli antichi monumenti.
Nel XV secolo i materiali furono utilizzati per riparare le mura della città, per costruire la basilica di San Marco e Palazzo Venezia, nel XVI per il Palazzo della Cancelleria, Palazzo Farnese, i Palazzi senatorio e dei Conservatori sul Campidoglio, e nel XVII secolo per la costruzione di Palazzo Barberini (e molti altri).
Alcuni Papi (Sisto V e Clemente X) progettarono un restauro dell'edificio. Sisto V intendeva utilizzare l'anfiteatro come filatoio, con le macchine al piano terreno e le case dei lavoratori nei piani più alti. Altri progetti furono avviati da Clemente, ma per mancanza di fondi non furono mai realizzati.
Nel XVII secolo il monumento era ancora una volta divenuto ricettacolo di derelitti e criminali. Dopo lunghi anni di abbandono, nel 1700 Papa Clemente XI fece chiudere gli archi, pose una croce nell'arena ed utilizzò il Colosseo come deposito di letame per la produzione di salnitro, a beneficio di una vicina fabbrica di polvere da sparo.
Nel 1703 altri travertini crollarono a causa di un terremoto, e Papa Clemente trovò il modo di impiegarli per la costruzione del monumentale porto di Ripetta. Nel 1749, dopo altri decenni di decadimento, Papa Benedetto XIV dichiarò il monumento chiesa pubblica, consacrata alla memoria della passione di Cristo e dei Suoi Martiri; così almeno si pose fine alla rimozione delle pietre.
Ai margini dell'arena furono poste le stazioni della via Crucis, ed una nuova croce fu sistemata al centro. Il Papa fondò anche una Arciconfraternita religiosa dedicata a Gesù e Maria, che iniziò a tenere processioni nell'anfiteatro.
