oorspronkelijk bekend als Poquehaug, nadat het gebied werd bewoond door de Engelsen in 1639 werd het eiland aangeduid als Milford Island. Nadat Charles Deal Het eiland in 1657 kocht, werd het bekend als Charles Island. Deal maakte een mislukte poging om tabak op het eiland te verhogen – een van de eerste dergelijke inspanningen in Connecticut.de WPA geschiedenis van Milford geeft aan dat kapitein William Kidd Milford bezocht in 1699 toen hij op weg was naar Boston (waar hij vervolgens werd gearresteerd voor piraterij en moord). Voordat Kidd in Boston aankwam, haalde hij een schat weg op Gardiners Island aan de oostelijke punt van Long Island. De schat werd na zijn arrestatie teruggevonden, maar de vraag blijft of de hele schat in die schat was en of hij er misschien meer langs Long Island Sound heeft begraven.
Charles Island bij hoogwater vanuit Silver Sands. Zomer 2006
in 1835 werd de eerste permanente residentie op het eiland gebouwd door John Harris. Na zijn dood was het eiland eigendom van verschillende eigenaren en in 1852 werd het gekocht door Elizur Pritchard Uit Waterbury, Connecticut, die het grote huis veranderde in een zomerresort dat oorspronkelijk bekend stond als Charles Island House en later als Ansantawae House. Na de Burgeroorlog werd het resort gesloten en werd het eiland verhuurd aan de George Miles Company als uitvalsbasis voor hun kunstmest activiteiten. Nadat de Miles Company Het eiland verliet was het relatief ongebruikt tot de jaren 1930 toen de Dominicaanse Orde een religieuze retraite opende op het eiland. De Retreat van Aquino bestond uit een kapel, kleine hutten voor de retreatants, een centrale eetzaal en religieuze heiligdommen gelegen langs paden over het hele eiland. De retraite werd eind jaren dertig gesloten en enkele restanten ervan bleven op het eiland.tegenwoordig is het eiland eigendom van de staat Connecticut en maakt het deel uit van het Silver Sands State Park. Het is aangewezen als natuurreservaat voor de lokale vogelpopulatie van reigers en zilverreigers. Witstaartherten kwamen veel voor, maar op de naar schatting 16 herten op het eiland werd in februari 2011 gejaagd door het Department of Environment Protection (nu het Department of Energy and Environmental Protection) om de broedvogels te beschermen. De wateren rond het eiland hebben blauwvis, snapper blues, zandhaaien en hoefijzerkrabben.
de wateren ten westen van het eiland zijn sinds 2013 een locatie voor oesterkweek, op een oppervlakte van ongeveer 1,4 ha.
