Mientras cursaba su doctorado en la Universidad de Hamburgo, Celenza se convirtió en profesor asistente en 1996 y más tarde en profesor asociado de historia en la Universidad Estatal de Michigan. Durante este período, finalmente fue nombrado profesor titular y presidente asociado de estudios de posgrado de la universidad. En 2005, Celenza se unió a la facultad de la Universidad Johns Hopkins, ocupando puestos en los departamentos de historia, lenguas y literaturas románicas y alemanas, y clásicos. Mientras estuvo allí, también fue el fundador del Centro Charles Singleton para el Estudio de la Europa Premoderna, del que se desempeñó como su primer director de 2008 a 2010. En 2008, Celenza recibió una beca Guggenheim.

En 2010, Celenza tomó un permiso de ausencia de Johns Hopkins para convertirse en la directora número 21 de la Academia Americana en Roma, sucediendo a Carmela Vircillo Franklin. Ocupó este cargo hasta 2014, cuando fue sucedido por Kimberly Bowes. Después de su dirección, Celenza regresó a Johns Hopkins, donde se convirtió en presidente del departamento de clásicos de 2014 a 2016 y Profesor Charles Homer Haskins de clásicos. Durante un año, se desempeñó como vicedecano de humanidades y ciencias sociales en la Escuela de Artes y Ciencias Krieger. Celenza fue nombrado posteriormente vicerrector de asuntos de la facultad de Johns Hopkins. Durante su tiempo en Johns Hopkins, también ayudó en la fundación del Instituto de Humanidades Alexander Grass.

El 2 de marzo de 2017, el Presidente de la Universidad de Georgetown, John DeGioia, anunció que Celenza se convertiría en el decano de Georgetown College, sucediendo a Chester Gillis. Asumió oficialmente el cargo el 1 de julio de 2017. Al mismo tiempo, ostenta cátedras de historia y clásicos.

El 22 de octubre de 2020, el presidente de Johns Hopkins, Ronald Daniels, nombró a Celenza como James B. Knapp Decano de la Escuela de Artes y Ciencias Krieger, a partir del 4 de enero de 2021.