Mentre perseguiva il dottorato presso l’Università di Amburgo, Celenza divenne assistente professore nel 1996 e successivamente professore associato di storia presso la Michigan State University. Durante questo periodo, alla fine è stato nominato professore ordinario e professore associato di studi universitari per l’università. Nel 2005, Celenza è entrata a far parte della facoltà della Johns Hopkins University, ricoprendo incarichi nei dipartimenti di storia, lingue e letterature tedesche e romanze e classici. Mentre era lì, è stato anche il fondatore del Charles Singleton Center for the Study of Premodern Europe, di cui è stato il primo direttore dal 2008 al 2010. Nel 2008, Celenza ha ricevuto una Guggenheim Fellowship.

Nel 2010, Celenza ha preso un congedo dalla Johns Hopkins per diventare il 21 ° direttore dell’American Academy in Rome, succedendo a Carmela Vircillo Franklin. Ha ricoperto questa posizione fino al 2014, quando è stato succeduto da Kimberly Bowes. Dopo la sua direzione, Celenza è tornato alla Johns Hopkins, dove è diventato presidente del dipartimento di classici dal 2014 al 2016 e Charles Homer Haskins Professor of classics. Per un anno, ha servito come vice decano per le scienze umane e sociali nella Scuola Krieger delle Arti e delle Scienze. Celenza è stato successivamente nominato vice prevosto per gli affari di facoltà di Johns Hopkins. Durante il suo periodo alla Johns Hopkins, ha anche contribuito alla fondazione dell’Alexander Grass Humanities Institute.

Il 2 marzo 2017, il presidente della Georgetown University, John DeGioia, ha annunciato che Celenza sarebbe diventato il decano del Georgetown College, succedendo a Chester Gillis. Ha assunto ufficialmente la posizione il 1 ° luglio 2017. Contemporaneamente tiene cattedre in storia e classici.

Il 22 ottobre 2020, il presidente della Johns Hopkins Ronald Daniels ha nominato Celenza come James B. Knapp Decano della Krieger School of Arts and Sciences, a partire dal 4 gennaio 2021.