ursprungligen känd som Poquehaug, efter att området bosattes av engelsmännen 1639 kallades ön Milford Island. Efter att Charles Deal köpte ön 1657 blev den känd som Charles Island. Deal gjorde ett misslyckat försök att höja tobak på ön – en av de första sådana ansträngningar i Connecticut.Milfords WPA-historia indikerar att kapten William Kidd besökte Milford 1699 när han var på väg till Boston (där han senare arresterades för piratkopiering och mord). Innan Kidd anlände till Boston lastade han och begravde skatt på Gardiners Island utanför den östra spetsen av Long Island. Skatten hämtades efter hans gripande men frågor kvarstår om huruvida all skatten var i den cachen och om han kan ha begravt mer av den längs Long Island Sound.
Charles Island vid högvatten från Silver Sands. Sommaren 2006
år 1835 byggdes den första permanenta bostaden på ön av John Harris. Efter hans död ägdes ön av flera olika ägare och 1852 köptes den av Elizur Pritchard Från Waterbury, Connecticut som förvandlade det stora huset till en sommarort som ursprungligen kallades Charles Island House och senare som Ansantawae House. Efter inbördeskriget stängdes orten och ön hyrdes ut till George Miles Company som bas för deras fiskgödselverksamhet. Efter att Miles Company lämnade ön var det relativt oanvänt fram till 1930-talet när Dominikanska ordningen öppnade en religiös reträtt på ön. Aquinas Retreat bestod av ett kapell, små stugor för retreatanterna, en central matsal och religiösa helgedomar längs stigar över hela ön. Reträtten stängdes i slutet av 1930-talet och några rester av den finns kvar på ön.
Modern eraEdit
delstaten Connecticut äger nu ön och det är en del av Silver Sands State Park. Det är utsett ett naturområde bevara för den lokala fågelpopulationen av hägrar och hägrar. Vita svanshjortar var vanliga, men de uppskattade 16 hjortarna på ön jagades av Department of Environment Protection (nu Department of Energy and Environmental Protection) i februari 2011 för att skydda de häckande fåglarna. Vattnet runt ön har bluefish, snapper blues, sandhajar och hästsko krabbor.
vattnen väster om ön har varit en plats för ostronodling sedan 2013, i ett område på cirka 3,4 hektar (1,4 ha).