Mitte September 1857 ging Charles Dickens mit Wilkie Collins nach Doncaster, um Ellen in The Pet of the Petticoats im Theatre Royal auftreten zu sehen, und schrieb an John Forster, dass seine Beziehung zu seiner Frau zerfiel; ‚Die arme Catherine und ich sind nicht füreinander gemacht, was jetzt passiert, habe ich stetig kommen sehen‘. Dickens war 45 Jahre alt, als er Ellen Ternan kennenlernte. Sie war 18 damals, nur etwas älter als seine Tochter Katey. Es wird angenommen, dass Dickens eine Affäre mit Ternan begann; die wahre Natur ihrer Beziehung wurde jedoch vor der Öffentlichkeit geheim gehalten. Ternan war klug, charmant, charakterstark und an Literatur und Theater interessiert. Dickens bezeichnete Ternan als seinen „magischen Kreis des Einen.“ Nach allem, was bekannt ist, spitzten sich die Dinge 1858 zu, als Catherine Dickens ein von einem Londoner Juwelier geliefertes Päckchen öffnete, das ein für Ternan bestimmtes Goldarmband mit einer Notiz ihres Mannes enthielt. Charles und Catherine Dickens trennten sich im Mai, nach dem 22 Jahre der Ehe.

Ternan verließ die Bühne 1860 und wurde von diesem Zeitpunkt an von Dickens finanziell unterstützt. Sie reiste manchmal mit ihm, was im Falle des Staplehurst Rail Crash am 9. Juni 1865 der Fall war, als Dickens mit Ternan und ihrer Mutter von einem Besuch in Frankreich zurückreiste. Angeblich gab er einen Plan auf, sie 1867 zu seinem Besuch in Amerika mitzunehmen, aus Angst, dass ihre Beziehung von der amerikanischen Presse veröffentlicht würde. Sie lebte in Häusern, die er unter falschen Namen in Slough und später in Nunhead einnahm. Obwohl die Wahrheit des Problems stark spekuliert wurde, Ternan hat möglicherweise einen Sohn von Dickens zur Welt gebracht, der im Säuglingsalter starb. Es gibt wenig Beweise für die Art der Beziehung zwischen Charles Dickens und Ellen Ternan, da weder Dickens, Ternan noch Ternans Schwestern einen Bericht über die Beziehung hinterlassen haben, und die meiste für die Beziehung relevante Korrespondenz wurde zerstört. Dickens wird von vielen Gelehrten und Kommentatoren angenommen, dass er mehrere seiner weiblichen Charaktere auf Ternan basiert hat, einschließlich Estella in Große Erwartungen, Bella Wilfer in Unser gemeinsamer Freund und Helena Landless in Das Geheimnis von Edwin Drood, und andere könnten von ihr inspiriert worden sein, besonders Lucie Manette in A Tale of Two Cities. Dickens hinterließ Ternan bei seinem Tod 1870 in seinem Testament ein Erbe von £ 1.000 und ausreichende Einnahmen aus einem Treuhandfonds, um sicherzustellen, dass sie nie wieder arbeiten musste.