oprindeligt kendt som Pokehaug,efter at området blev afgjort af englænderne i 1639, blev øen omtalt som Milford Island. Efter Charles Deal købte øen i 1657 blev det kendt som Charles Island. Deal gjorde et mislykket forsøg på at hæve tobak på øen – en af de første sådanne bestræbelser i Connecticut.Milfords APV-historie indikerer, at Kaptajn Kidd besøgte Milford i 1699, da han var på vej til Boston (hvor han efterfølgende blev arresteret for piratkopiering og mord). Før Kidd ankomst i Boston, han off-loaded og begravet skat på Gardiners Island ud for den østlige spids af Long Island. Skatten blev hentet efter hans anholdelse, men der er stadig spørgsmål om, hvorvidt al skatten var i cachen, og om han måske har begravet mere af den langs Long Island Sound.

i 1835 blev den første permanente bopæl bygget på øen af John Harris. Efter hans død var øen ejet af flere forskellige ejere, og i 1852 blev den købt af Elisur Pritchard fra Connecticut, der forvandlede det store hus til et sommerferiested, der oprindeligt blev kendt som Charles Island House og senere som Ansantau House. Efter borgerkrigen lukkede udvej, og øen blev lejet til George Miles Company som base for deres fiskegødningsoperationer. Efter Miles Company forlod øen var det relativt ubrugt indtil 1930 ‘ erne, da den dominikanske orden åbnede et religiøst tilbagetog på øen. Det Akvinas tilbagetog bestod af et kapel, små hytter til retreatants, en central spisesal og religiøse helligdomme placeret langs stier over hele øen. Tilbagetoget lukkede i slutningen af 1930 ‘ erne, og nogle rester af det forbliver på øen.

moderne eraEdit

staten Connecticut ejer nu øen, og den er en del af Silver Sands State Park. Det er udpeget et naturområde bevare for den lokale fuglebestand af Hejrer og hejrer. Hvidhale hjorte var almindelige, men de anslåede 16 hjorte på øen blev jaget af Department of Environmental Protection (nu Department of Energy and Environmental Protection) i februar 2011 for at beskytte de hekkende fugle. Vandet omkring øen har blåfisk, snapper blues, sandhajer og hestesko krabber.

farvandet vest for øen har været et sted for østersopdræt siden 2013 i et område på cirka 3,4 hektar (1,4 ha).