i midten af September 1857 gik Charles Dickens med Collins til Doncaster for at se Ellen optræde i Pet of the Petticoats på Theatre Royal og skrev til John Forster, at hans forhold til sin kone var i opløsning; ‘stakkels Catherine og jeg er ikke skabt til hinanden, hvad der nu sker, Jeg har set støt komme’.

Dickens var 45 år gammel, da han mødte Ellen Ternan. Hun var 18 på det tidspunkt, kun lidt ældre end hans datter Katey. Det menes, at Dickens indledte en affære med Ternan; imidlertid, den sande natur af deres forhold blev holdt hemmelig for offentligheden. Ternan var klog, charmerende, en karakterstyrke og interesseret i litteratur og teater. Dickens omtalte Ternan som sin “magiske cirkel af en.”Ifølge det, der er kendt, kom sagen i spidsen i 1858, da Catherine Dickens åbnede en pakke leveret af en guldsmed i London, der indeholdt et guldarmbånd beregnet til Ternan med en note skrevet af hendes mand. Charles og Catherine Dickens skiltes i maj efter 22 års ægteskab.

Ternan forlod scenen i 1860 og blev økonomisk støttet af Dickens fra det tidspunkt og fremefter. Hun rejste nogle gange med ham, hvilket var tilfældet i tilfælde af Staplehurst rail crash den 9.juni 1865, da Dickens rejste med Ternan og hendes mor tilbage fra et besøg i Frankrig. Påstået opgav han en plan om at tage hende med på sit besøg i Amerika i 1867 af frygt for, at deres forhold ville blive offentliggjort af den amerikanske presse. Hun boede i Huse, han tog under falske navne på Slough og senere på Nunhead. Selvom sandheden i spørgsmålet er blevet stærkt spekuleret, Ternan kan have født en søn af Dickens, der døde i barndommen. Der er kun få beviser vedrørende karakteren af Charles Dickens og Ellen Ternans forhold, fordi hverken Dickens, Ternan eller Ternans søstre efterlod nogen redegørelse for forholdet, og mest korrespondance, der var relevant for forholdet, blev ødelagt. Dickens menes af mange forskere og kommentatorer at have baseret flere af hans kvindelige karakterer på Ternan, herunder Estella i store forventninger, Bella Vilfer i vores fælles ven og Helena Landless i mysteriet om Edvin Drood, og andre kan have været inspireret af hende, især Lucie manette i en fortælling om to byer. Dickens efterlod en arv på 1.000 til Ternan i sin Testamente ved hans død i 1870 og tilstrækkelig indkomst fra en trustfond til at sikre, at hun aldrig skulle arbejde igen.