Tout en poursuivant son doctorat à l’Université de Hambourg, Celenza est devenu professeur adjoint en 1996, puis professeur agrégé d’histoire à l’Université d’État du Michigan. Au cours de cette période, il a finalement été nommé professeur titulaire et président associé des études supérieures de l’université. En 2005, Celenza a rejoint la faculté de l’Université Johns Hopkins, occupant des postes dans les départements d’histoire, de langues et littératures allemandes et romanes, et de classiques. Il a également été le fondateur du Centre Charles Singleton pour l’étude de l’Europe prémoderne, dont il a été le premier directeur de 2008 à 2010. En 2008, Celenza a reçu une bourse Guggenheim.

En 2010, Celenza a pris un congé de Johns Hopkins pour devenir le 21e directeur de l’Académie américaine de Rome, succédant à Carmela Vircillo Franklin. Il a occupé ce poste jusqu’en 2014, date à laquelle Kimberly Bowes lui a succédé. Après son poste de directeur, Celenza est retourné à Johns Hopkins, où il est devenu le président du département des classiques de 2014 à 2016 et le professeur de classiques Charles Homer Haskins. Pendant un an, il a été vice-doyen des sciences humaines et sociales à la Krieger School of Arts and Sciences. Celenza a ensuite été nommée vice-prévôt des affaires de la faculté de Johns Hopkins. Pendant son séjour à Johns Hopkins, il a également participé à la fondation de l’Alexander Grass Humanities Institute.

Le 2 mars 2017, le président de l’Université de Georgetown, John DeGioia, a annoncé que Celenza deviendrait le doyen du Georgetown College, succédant à Chester Gillis. Il a officiellement pris ses fonctions le 1er juillet 2017. Il est professeur d’histoire et de lettres classiques.

Le 22 octobre 2020, Ronald Daniels, Président de Johns Hopkins, a nommé Celenza doyen James B. Knapp de la Krieger School of Arts and Sciences, à compter du 4 janvier 2021.