Opprinnelig Kjent Som Poquehaug,etter at området ble bosatt av engelskmennene i 1639, ble øya referert Til Som Milford Island. Etter At Charles Deal kjøpte øya i 1657 ble Den Kjent Som Charles Island. Deal gjorde et mislykket forsøk på å heve tobakk på øya – en av de første slike forsøk I Connecticut.Milfords WPA-Historie indikerer At Kaptein William Kidd besøkte Milford i 1699 da Han var på vei Til Boston (hvor han senere ble arrestert for piratkopiering og mord). Før Kidd ankomst I Boston, han off-lastet og begravd skatt på Gardiners Island utenfor den østlige spissen Av Long Island. Skatten ble hentet etter arrestasjonen, men det gjenstår spørsmål om all skatten var i det cache og om han kan ha begravet mer av Det langs Long Island Sound.

I 1835 ble Den første permanente residensen bygget på øya Av John Harris. Etter hans død ble øya eid av flere forskjellige eiere, og I 1852 ble den kjøpt av Elizur Pritchard Fra Waterbury, Connecticut som gjorde det store huset til et sommerferiested kjent opprinnelig Som Charles Island House og senere Som Ansantawae House. Etter Borgerkrigen anlegget stengt og øya ble leid Ut Til George Miles Selskapet som en base for sine fisk gjødsel operasjoner. Etter At Miles Company forlot øya var det relativt ubrukt til 1930-tallet da Dominikanerordenen åpnet et religiøst tilfluktssted på øya. Aquinas Retrett besto av et kapell, små hytter for retreatants, en sentral spisesal og religiøse helligdommer ligger langs stier over hele øya. Retrett stengt på slutten av 1930-tallet og noen rester av det forblir på øya.

Moderne tidrediger

Staten Connecticut eier nå øya og Den er en Del Av Silver Sands State Park. Det er utpekt Et Naturområde Bevare for den lokale fugl befolkningen av hegre og egrets. White-tail hjort var vanlig, men estimert 16 hjort på øya ble jaktet Av Department Of Environment Protection (nå Department Of Energy and Environmental Protection) i februar 2011 for å beskytte hekkende fugler. Vannet rundt øya har bluefish, snapper blues, sand haier, og hestesko krabber.vannet vest for øya har vært et sted for østersoppdrett siden 2013, i et område på ca 3, 4 hektar (1, 4 ha).