W połowie września 1857 roku Charles Dickens udał się z Wilkie Collinsem do Doncaster, aby zobaczyć Ellen występującą w the Pet of the Halticoats w Theatre Royal i napisał do Johna Forstera, że jego związek z żoną rozpada się; „biedna Catherine i ja nie jesteśmy stworzeni dla siebie nawzajem, co się teraz stało, widziałem stale nadchodzące”.

Dickens miał 45 lat, kiedy poznał Ellen Ternan. Miała wtedy 18 lat, tylko nieco starsza od jego córki Katey. Uważa się, że Dickens rozpoczął romans z Ternanem; jednak prawdziwa natura ich związku była utrzymywana w tajemnicy przed opinią publiczną. Ternan był bystry, Czarujący, z siłą charakteru, interesował się literaturą i teatrem. Dickens określił Ternana jako swój ” magiczny krąg jednego.”Zgodnie z tym, co wiadomo, sprawy doszły do głowy w 1858 roku, kiedy Catherine Dickens otworzyła paczkę dostarczoną przez londyńskiego jubilera, która zawierała złotą bransoletkę przeznaczoną dla Ternan z notatką napisaną przez jej męża. Karol i Katarzyna Dickens rozstali się w maju, po 22 latach małżeństwa.

Ternan opuścił scenę w 1860 roku i od tego momentu był finansowo wspierany przez Dickensa. Czasami podróżowała z nim, co miało miejsce w przypadku katastrofy kolejowej w Staplehurst 9 czerwca 1865, gdy Dickens podróżował z Ternan i jej matką z wizyty we Francji. Rzekomo porzucił plan, aby zabrać ją na swoją wizytę do Ameryki w 1867 roku z obawy, że ich związek zostanie nagłośniony przez amerykańską prasę. Mieszkała w domach, które przyjął pod fałszywymi nazwiskami w Slough, a później w Nunhead. Chociaż prawda w tej sprawie była mocno spekulowana, Ternan mógł urodzić syna Dickensa, który zmarł w niemowlęctwie. Niewiele jest dowodów na charakter związku Charlesa Dickensa i Ellen Ternan, ponieważ ani Dickens, Ternan, ani siostry Ternan nie pozostawiły żadnych relacji z tego związku, a większość korespondencji związanej z tym związkiem została zniszczona. Dickens jest uważany przez wielu uczonych i komentatorów, że oparł kilka swoich kobiecych postaci na Ternanie, w tym Estellę w wielkich oczekiwaniach, Bellę Wilfer w naszym wspólnym przyjacielu i Helenę Landless w tajemnicy Edwina Drooda, a inni mogli być przez nią zainspirowani, szczególnie Lucie Manette w opowieści o dwóch miastach. Dickens pozostawił w testamencie Ternanowi spadek w wysokości £1,000 w dniu jego śmierci w 1870 r.i wystarczające dochody z funduszu powierniczego, aby zapewnić, że nigdy więcej nie będzie musiała pracować.