Während seiner Promotion an der Universität Hamburg wurde Celenza 1996 Assistenzprofessor und später Associate Professor für Geschichte an der Michigan State University. Während dieser Zeit wurde er schließlich zum ordentlichen Professor und Associate Chair of Graduate Studies der Universität ernannt. Im Jahr 2005 trat Celenza der Fakultät der Johns Hopkins University bei und bekleidete Positionen in den Abteilungen Geschichte, Deutsche und romanische Sprachen und Literaturen sowie Klassik. Dort war er auch Gründer des Charles Singleton Center for the Study of Premodern Europe, dessen erster Direktor er von 2008 bis 2010 war. 2008 erhielt Celenza ein Guggenheim-Stipendium.Im Jahr 2010 nahm Celenza eine Beurlaubung von Johns Hopkins, um die 21. Direktorin der American Academy in Rom zu werden, die Carmela Vircillo Franklin nachfolgte. Er hatte diese Position bis 2014 inne, als er von Kimberly Bowes abgelöst wurde. Nach seiner Intendanz kehrte Celenza an die Johns Hopkins University zurück, wo er von 2014 bis 2016 den Vorsitz des Department of Classics und den Charles Homer Haskins Professor of Classics innehatte. Ein Jahr lang war er Prodekan für Geistes- und Sozialwissenschaften an der Krieger School of Arts and Sciences. Celenza wurde anschließend zum stellvertretenden Propst für Fakultätsangelegenheiten der Johns Hopkins ernannt. Während seiner Zeit an der Johns Hopkins war er auch an der Gründung des Alexander Grass Humanities Institute beteiligt.

Am 2. März 2017 gab der Präsident der Georgetown University, John DeGioia, bekannt, dass Celenza als Nachfolger von Chester Gillis Dekan des Georgetown College werden würde. Er hat die Position offiziell am 1. Juli 2017 übernommen. Gleichzeitig hat er Professuren für Geschichte und Klassik inne.Am 22. Oktober 2020 ernannte Ronald Daniels, Präsident von Johns Hopkins, Celenza mit Wirkung zum 4. Januar 2021 zum James B. Knapp-Dekan der Krieger School of Arts and Sciences.