tunnettiin alun perin nimellä Poquehaug,englantilaisten asutettua alueen vuonna 1639 saarta kutsuttiin nimellä Milford Island. Kun Charles Deal osti saaren vuonna 1657, se tuli tunnetuksi nimellä Charles Island. Deal teki epäonnistuneen yrityksen kasvattaa tupakkaa saarella-yksi ensimmäisistä tällaisista yrityksistä Connecticutissa.
Milfordin WPA-historia osoittaa, että kapteeni William Kidd vieraili Milfordissa vuonna 1699 ollessaan matkalla Bostoniin (jossa hänet myöhemmin pidätettiin merirosvouksesta ja murhasta). Ennen kuin Kidd saapui Bostoniin, hän purki lastinsa ja hautasi aarteen Gardiners Islandille Long Islandin itäkärjen edustalle. Aarre saatiin takaisin hänen pidätyksensä jälkeen, mutta on epäselvää, oliko kaikki aarre tuossa kätkössä ja onko hän saattanut haudata lisää sitä Long Island Soundin varrelle.
Kaarlen saari nousuveden aikaan Hopeahiekasta. Kesällä 2006
vuonna 1835 saarelle rakennutti ensimmäisen pysyvän asuinpaikan John Harris. Hänen kuolemansa jälkeen saaren omistivat useat eri omistajat ja vuonna 1852 sen osti Connecticutin Waterburystä kotoisin oleva Elizur Pritchard, joka muutti suuren talon kesänviettopaikaksi, joka tunnettiin alun perin nimellä Charles Island House ja myöhemmin nimellä Ansantawae House. Sisällissodan jälkeen Lomakeskus suljettiin ja saari vuokrattiin George Miles Companylle heidän kalalannoitetoimintojensa tukikohdaksi. Miles-komppanian lähdettyä saarelta se oli suhteellisen käyttämättömänä 1930-luvulle asti, jolloin Dominikaanien sääntökunta avasi saarella uskonnollisen retriitin. Akvinolainen retriitti koostui kappelista, retriittien pienistä mökeistä, keskeisestä ruokasalista ja uskonnollisista pyhäköistä, jotka sijaitsivat polkujen varsilla ympäri saarta. Retriitti suljettiin 1930-luvun lopulla ja siitä on jäljellä joitakin jäänteitä saarella.
nykyinen eraEdit
Connecticutin osavaltio omistaa saaren nykyään ja se on osa Silver Sands State Parkia. Se on osoitettu luonnonsuojelualueeksi haikaroiden ja haikaroiden paikalliselle lintukannalle. Valkohäntäpeurat olivat yleisiä, mutta arviolta 16 hirveä saarella metsästettiin helmikuussa 2011 Ympäristönsuojeluministeriön (nykyinen Energia-ja Ympäristönsuojeluministeriö) toimesta pesivien lintujen suojelemiseksi. Saarta ympäröivissä vesissä elää sinilevää, napsija-bluesia, hietahaita ja hevosenkenkärapuja.
saaren länsipuoliset vedet ovat olleet osteriviljelypaikkana vuodesta 2013, noin 1,4 hehtaarin kokoisella alueella.