inițial cunoscută sub numele de Poquehaug,după ce zona a fost stabilită de englezi în 1639, insula a fost denumită Insula Milford. După ce Charles Deal a cumpărat insula în 1657, a devenit cunoscută sub numele de Insula Charles. Deal a făcut o încercare eșuată de a ridica tutun pe insulă – unul dintre primele astfel de eforturi din Connecticut.
istoria WPA Din Milford indică faptul că căpitanul William Kidd a vizitat Milford în 1699, când se afla în drum spre Boston (unde a fost arestat ulterior pentru piraterie și crimă). Înainte de sosirea lui Kidd în Boston, el a încărcat și îngropat comoara pe insula Gardiners de pe vârful estic al Long Island. Comoara a fost recuperată după arestarea sa, dar rămân întrebări dacă toată comoara se afla în acel cache și dacă este posibil să fi îngropat mai mult din ea Long Island Sound.
Insula Charles la maree din Nisipurile De Argint. Vara anului 2006
în 1835, prima reședință permanentă a fost construită pe insulă de John Harris. După moartea sa, insula a fost deținută de mai mulți proprietari diferiți și în 1852 a fost cumpărată de Elizur Pritchard Din Waterbury, Connecticut, care a transformat casa mare într-o stațiune de vară cunoscută inițial sub numele de Charles Island House și mai târziu ca Ansantawae House. După Războiul Civil, stațiunea s-a închis și insula a fost închiriată companiei George Miles ca bază pentru operațiunile lor de îngrășăminte pentru pești. După ce compania Miles a părăsit insula, aceasta a fost relativ neutilizată până în anii 1930, când ordinul Dominican a deschis un refugiu religios pe insulă. Retragerea Aquinas consta dintr-o capelă, cabine mici pentru retragători, o sală de mese Centrală și altare religioase situate de-a lungul cărărilor din întreaga insulă. Retragerea s-a închis la sfârșitul anilor 1930 și unele rămășițe ale acesteia rămân pe insulă.
Epoca Modernăedit
statul Connecticut deține acum insula și face parte din Silver Sands State Park. Este desemnată o rezervație naturală pentru populația locală de păsări de stârci și egrete. Căprioarele cu coadă albă erau obișnuite, dar se estimează că 16 căprioare de pe insulă au fost vânate de Departamentul pentru Protecția Mediului (acum Departamentul pentru energie și Protecția Mediului) în februarie 2011 pentru a proteja păsările cuibăritoare. Apele din jurul insulei au pește Albastru, Albastru snapper, rechini de nisip și crabi de potcoavă.
apele din vestul insulei au fost un sit pentru creșterea stridiilor din 2013, pe o suprafață de aproximativ 3,4 acri (1,4 ha).