A mediados de septiembre de 1857, Charles Dickens fue con Wilkie Collins a Doncaster para ver a Ellen actuar en La Mascota de las Enaguas en el Theatre Royal, y escribió a John Forster que su relación con su esposa se estaba desintegrando; «La pobre Catherine y yo no estamos hechos el uno para el otro, lo que ahora me está sucediendo, he visto venir constantemente».
Dickens tenía 45 años cuando conoció a Ellen Ternan. Ella tenía 18 años en ese momento, solo un poco mayor que su hija Katey. Se cree que Dickens comenzó una aventura con Ternan; sin embargo, la verdadera naturaleza de su relación se mantuvo en secreto para el público en general. Ternan era inteligente, encantador, una fuerza de carácter e interesado en la literatura y el teatro. Dickens se refirió a Ternan como su «círculo mágico de uno».»De acuerdo con lo que se sabe, las cosas llegaron a un punto crítico en 1858 cuando Catherine Dickens abrió un paquete entregado por un joyero de Londres que contenía un brazalete de oro destinado a Ternan con una nota escrita por su marido. Charles y Catherine Dickens se separaron en mayo, después de 22 años de matrimonio.
Ternan abandonó el escenario en 1860, y fue apoyado financieramente por Dickens a partir de ese momento. A veces viajaba con él, como ocurrió en el caso del accidente ferroviario de Staplehurst el 9 de junio de 1865, cuando Dickens viajaba con Ternan y su madre de vuelta de una visita a Francia. Supuestamente, abandonó un plan para llevarla a su visita a Estados Unidos en 1867 por temor a que su relación fuera publicitada por la prensa estadounidense. Vivía en casas que él tomó con nombres falsos en Slough y más tarde en Nunhead. Aunque la verdad del asunto ha sido altamente especulada, Ternan pudo haber dado a luz a un hijo de Dickens que murió en la infancia. Hay poca evidencia relativa a la naturaleza de la relación de Charles Dickens y Ellen Ternan porque ni Dickens, Ternan, ni las hermanas de Ternan dejaron ningún relato de la relación, y la mayor parte de la correspondencia relevante a la relación fue destruida. Muchos estudiosos y comentaristas creen que Dickens basó varios de sus personajes femeninos en Ternan, incluyendo a Estella en Great Expectations, Bella Wilfer en Our Mutual Friend y Helena Landless en The Mystery of Edwin Drood, y otros pueden haberse inspirado en ella, particularmente Lucie Manette en A Tale of Two Cities. Dickens dejó un legado de £1,000 a Ternan en su testamento a su muerte en 1870 y suficientes ingresos de un fondo fiduciario para asegurarse de que nunca tendría que volver a trabajar.
