la mijlocul lunii septembrie 1857, Charles Dickens a mers cu Wilkie Collins la Doncaster pentru a o vedea pe Ellen cântând în Pet Of The Petticoats la Theatre Royal și i-a scris lui John Forster că relația sa cu soția sa se dezintegrează; ‘săraca Catherine și cu mine nu suntem făcuți unul pentru celălalt ceea ce se întâmplă acum am văzut venind constant’.
Dickens avea 45 de ani când a cunoscut-o pe Ellen Ternan. Avea 18 ani la acea vreme, doar puțin mai în vârstă decât fiica sa Katey. Se crede că Dickens a început o aventură cu Ternan; cu toate acestea, adevărata natură a relației lor a fost păstrată secretă de publicul larg. Ternan era inteligent, fermecător, o forță de caracter și interesat de literatură și teatru. Dickens s-a referit la Ternan drept „cercul său magic al unuia.”Potrivit a ceea ce se știe, lucrurile au ajuns la un cap în 1858, când Catherine Dickens a deschis un pachet livrat de un bijutier londonez care conținea o brățară de aur destinată lui Ternan cu o notă scrisă de soțul ei. Charles și Catherine Dickens s-au separat în luna mai, după 22 de ani de căsătorie.
Ternan a părăsit scena în 1860 și a fost susținut financiar de Dickens din acel moment. Uneori călătorea cu el, ceea ce a fost cazul în cazul accidentului feroviar Staplehurst din 9 iunie 1865, în timp ce Dickens călătorea cu Ternan și mama ei înapoi dintr-o vizită în Franța. Se presupune că a abandonat un plan de a o duce în vizita sa în America în 1867, de teamă că relația lor va fi mediatizată de presa americană. Locuia în case pe care le-a luat sub nume false la Slough și mai târziu la Nunhead. Deși adevărul problemei a fost foarte speculat, Ternan ar fi putut naște un fiu de Dickens care a murit în copilărie. Există puține dovezi referitoare la natura relației lui Charles Dickens și Ellen Ternan, deoarece nici Dickens, Ternan, nici surorile lui Ternan nu au lăsat nicio relatare a relației și cea mai mare corespondență relevantă relației a fost distrusă. Dickens este considerat de mulți cercetători și comentatori că și-a bazat mai multe dintre personajele sale feminine pe Ternan, inclusiv Estella în așteptări mari, Bella Wilfer în prietenul nostru comun și Helena Landless în Misterul lui Edwin Drood, iar alții ar fi putut fi inspirați de ea, în special Lucie Manette în A Tale Of Two Cities. Dickens i-a lăsat lui Ternan o moștenire de 1.000 de dolari în testamentul său la moartea sa în 1870 și venituri suficiente dintr-un fond fiduciar pentru a se asigura că nu va mai trebui să lucreze niciodată.