A metà settembre 1857, Charles Dickens andò con Wilkie Collins a Doncaster per vedere Ellen esibirsi in The Pet of the Petticoats al Theatre Royal, e scrisse a John Forster che il suo rapporto con sua moglie si stava disintegrando; ‘La povera Catherine e io non siamo fatti l’uno per l’altro Ciò che ora sta accadendo
Dickens aveva 45 anni quando incontrò Ellen Ternan. Lei era 18 al momento, solo leggermente più vecchio di sua figlia Katey. Si ritiene che Dickens abbia iniziato una relazione con Ternan; tuttavia, la vera natura della loro relazione è stata tenuta segreta al grande pubblico. Ternan era intelligente, affascinante, una forza di carattere e interessato alla letteratura e al teatro. Dickens di cui Ternan come il suo ” cerchio magico di uno.”Secondo quanto si sa, le cose vennero a una testa nel 1858 quando Catherine Dickens aprì un pacchetto consegnato da un gioielliere di Londra che conteneva un braccialetto d’oro destinato a Ternan con una nota scritta da suo marito. Charles e Catherine Dickens separati che maggio, dopo 22 anni di matrimonio.
Ternan lasciò il palcoscenico nel 1860, e fu sostenuto finanziariamente da Dickens da quel momento in poi. A volte viaggiava con lui, come nel caso dell’incidente ferroviario di Staplehurst il 9 giugno 1865 mentre Dickens viaggiava con Ternan e sua madre di ritorno da una visita in Francia. Presumibilmente, ha abbandonato un piano per portarla nella sua visita in America nel 1867 per paura che la loro relazione sarebbe stata pubblicizzata dalla stampa americana. Ha vissuto in case che ha preso sotto falsi nomi a Slough e più tardi a Nunhead. Anche se la verità della questione è stata altamente speculato, Ternan potrebbe aver dato alla luce un figlio da Dickens che morì durante l’infanzia. Ci sono poche prove relative alla natura della relazione di Charles Dickens e Ellen Ternan perché né Dickens, Ternan, né le sorelle di Ternan hanno lasciato alcun resoconto della relazione, e la maggior parte della corrispondenza rilevante per la relazione è stata distrutta. Dickens è pensato da molti studiosi e commentatori di aver basato molti dei suoi personaggi femminili su Ternan, tra cui Estella in Great Expectations, Bella Wilfer in Our Mutual Friend e Helena Landless in The Mystery of Edwin Drood, e altri potrebbero essere stati ispirati da lei, in particolare Lucie Manette in A Tale of Two Cities. Dickens lasciò un’eredità di £1.000 a Ternan nel suo testamento alla sua morte nel 1870 e un reddito sufficiente da un fondo fiduciario per garantire che non avrebbe mai dovuto lavorare di nuovo.