À la mi-septembre 1857, Charles Dickens se rendit avec Wilkie Collins à Doncaster pour voir Ellen jouer dans The Pet of the Petticoats au Theatre Royal, et écrivit à John Forster que sa relation avec sa femme était en train de se désintégrer : « La pauvre Catherine et moi ne sommes pas faits l’un pour l’autre Ce qui m’arrive maintenant de plus en plus « .

Dickens avait 45 ans lorsqu’il a rencontré Ellen Ternan. Elle avait 18 ans à l’époque, à peine plus âgée que sa fille Katey. On pense que Dickens a commencé une liaison avec Ternan; cependant, la véritable nature de leur relation était tenue secrète du grand public. Ternan était intelligent, charmant, doté d’une force de caractère et s’intéressait à la littérature et au théâtre. Dickens a appelé Ternan son « cercle magique d’un. »D’après ce que l’on sait, les choses ont basculé en 1858 lorsque Catherine Dickens a ouvert un paquet livré par un bijoutier londonien qui contenait un bracelet en or destiné à Ternan avec une note écrite par son mari. Charles et Catherine Dickens se sont séparés en mai, après 22 ans de mariage.

Ternan quitta la scène en 1860, et fut soutenu financièrement par Dickens à partir de ce moment. Elle voyageait parfois avec lui, ce qui était le cas lors de l’accident ferroviaire de Staplehurst le 9 juin 1865 alors que Dickens voyageait avec Ternan et sa mère de retour d’une visite en France. Il aurait abandonné un plan pour l’emmener lors de sa visite en Amérique en 1867 de peur que leur relation ne soit médiatisée par la presse américaine. Elle vivait dans des maisons qu’il avait prises sous de faux noms à Slough et plus tard à Nunhead. Bien que la vérité de la question ait été fortement spéculée, Ternan a peut-être donné naissance à un fils par Dickens qui est mort en bas âge. Il y a peu de preuves concernant la nature de la relation entre Charles Dickens et Ellen Ternan, car ni Dickens, ni les sœurs de Ternan n’ont laissé de compte de la relation, et la plupart des correspondances pertinentes à la relation ont été détruites. De nombreux chercheurs et commentateurs pensent que Dickens a basé plusieurs de ses personnages féminins sur Ternan, y compris Estella dans Great Expectations, Bella Wilfer dans Notre amie commune et Helena Landless dans Le Mystère d’Edwin Drood, et d’autres pourraient avoir été inspirés par elle, en particulier Lucie Manette dans A Tale of Two Cities. Dickens laissa un héritage de 1 000 £ à Ternan dans son testament à sa mort en 1870 et des revenus suffisants provenant d’un fonds en fiducie pour s’assurer qu’elle n’aurait plus jamais à travailler.