syyskuun puolivälissä 1857 Charles Dickens meni Wilkie Collinsin kanssa Doncasteriin nähdäkseen Ellenin esiintyvän The Pet of the Petticoatsissa Theatre Royalissa ja kirjoitti John Forsterille, että hänen suhteensa vaimoonsa oli hajoamassa; ”Parka Catherine ja minä emme ole luodut toisillemme, mitä nyt tapahtuu olen nähnyt vakaasti tulevan”.
Dickens oli 45-vuotias tavatessaan Ellen Ternanin. Hän oli tuolloin 18-vuotias, vain hieman Katey-tytärtään vanhempi. Uskotaan, että Dickens aloitti suhteen Ternan; heidän suhteensa todellinen luonne pidettiin kuitenkin salassa yleisöltä. Ternan oli nokkela, hurmaava, luonteva voima ja kiinnostunut kirjallisuudesta ja teatterista. Dickens kutsui Ternania ” yhden taikapiirikseen.”Sen mukaan, mitä tiedetään, asiat kärjistyivät vuonna 1858, kun Catherine Dickens avasi lontoolaisen jalokivikauppiaan toimittaman paketin, jossa oli ternanille tarkoitettu kultainen rannerengas ja hänen miehensä kirjoittama lappu. Charles ja Catherine Dickens erosivat toukokuussa 22 avioliittovuoden jälkeen.
Ternan jätti näyttämön vuonna 1860 ja sai siitä lähtien taloudellista tukea Dickensiltä. Hän matkusti joskus hänen kanssaan, mikä tapahtui staplehurstin junaonnettomuuden sattuessa 9. kesäkuuta 1865, kun Dickens oli matkalla Ternanin ja hänen äitinsä kanssa takaisin vierailulta Ranskasta. Hänen väitetään luopuneen suunnitelmasta viedä hänet vierailulle Amerikkaan vuonna 1867, koska hän pelkäsi, että heidän suhteensa saisi julkisuutta amerikkalaisessa lehdistössä. Hän asui taloissa, jotka hän otti väärillä nimillä Sloughissa ja myöhemmin Nunheadissa. Vaikka asian todenperäisyyttä on spekuloitu paljon, Ternan on saattanut synnyttää Dickensin pojan, joka kuoli pienokaisena. Charles Dickensin ja Ellen Ternanin suhteen luonteesta on vain vähän todisteita, sillä Dickensin, Ternanin tai Ternanin sisarukset eivät jättäneet suhteesta mitään selontekoa, ja suurin osa suhteeseen liittyvästä kirjeenvaihdosta tuhottiin. Dickens on ajatellut monet tutkijat ja kommentaattorit ovat perustaneet useita hänen naishahmoja Ternan, mukaan lukien Estella suuria odotuksia, Bella Wilfer meidän yhteinen ystävä ja Helena Landless mysteeri Edwin Drood, ja muut ovat voineet olla innoittamana hänen, erityisesti Lucie Manette tarina kaksi kaupunkia. Dickens jätti testamentissaan 1 000 punnan perinnön Ternanille tämän kuoltua vuonna 1870 sekä riittävät tulot rahastosta, jotta hänen ei tarvitsisi enää koskaan tehdä töitä.
