1857. szeptember közepén Charles Dickens Wilkie Collins-szal doncasterbe ment, hogy megnézze Ellen-t a Theatre Royal Alsószoknyáinak Háziállatában, és azt írta John Forsternek, hogy a feleségével való kapcsolata szétesik; ‘szegény Catherine és én nem vagyunk egymásnak teremtve, amit most láttam folyamatosan jönni’. Dickens 45 éves volt, amikor találkozott Ellen Ternannel. Ő volt 18 akkor, csak valamivel idősebb, mint lánya, Katey. Úgy gondolják, hogy Dickens viszonyt kezdett Ternannal; kapcsolatuk valódi természetét azonban titokban tartották a nagyközönség előtt. Ternan okos, elbűvölő, karakteres volt, és érdekelte az irodalom és a színház. Dickens említett Ternan, mint a ” mágikus kör egy.”Az ismert információk szerint a dolgok 1858-ban fejeződtek be, amikor Catherine Dickens kinyitott egy londoni ékszerész által szállított csomagot, amely egy ternannak szánt arany karkötőt tartalmazott a férje által írt feljegyzéssel. Charles és Catherine Dickens májusban váltak el, 22 év házasság után.Ternan 1860-ban elhagyta a színpadot, és ettől kezdve Dickens anyagilag támogatta. Néha utazott vele, ami a helyzet abban az esetben, ha a Staplehurst vasúti baleset június 9-én, 1865 Dickens utazott Ternan és az anyja vissza egy látogatást Franciaországban. Állítólag elhagyta azt a tervet, hogy 1867-ben Amerikába látogatja, attól tartva, hogy kapcsolatukat az amerikai sajtó nyilvánosságra hozza. Olyan házakban élt, amelyeket hamis néven vett fel Slough-ban, majd később Nunhead-ben. Bár a kérdés igazságát erősen spekulálták, Ternan valószínűleg Dickens fiát szülte, aki csecsemőkorban halt meg. Kevés bizonyíték van Charles Dickens és Ellen Ternan kapcsolatának természetére, mivel sem Dickens, sem Ternan, sem Ternan nővérei nem hagytak beszámolót a kapcsolatról, és a kapcsolat szempontjából releváns legtöbb levelezés megsemmisült. Dickensről sok tudós és kommentátor úgy gondolja, hogy több női karakterét Ternanre alapozta, köztük Estella a nagy várakozásokban, Bella Wilfer a közös Barátunkban és Helena Landless az Edwin Drood rejtélyében, és másokat is inspirálhatott, különösen Lucie Manette a két város meséjében. Dickens hagyott öröksége 1000, hogy Ternan végrendeletében halála 1870-ben, és elegendő jövedelmet a vagyonkezelői alap, hogy ő soha nem kell dolgozni újra.