Ursprünglich bekannt als Poquehaug, nachdem das Gebiet 1639 von den Engländern besiedelt wurde, wurde die Insel als Milford Island bezeichnet. Nachdem Charles Deal die Insel 1657 gekauft hatte, wurde sie als Charles Island bekannt. Deal machte einen gescheiterten Versuch, Tabak auf der Insel zu erhöhen – eine der ersten derartigen Bemühungen in Connecticut.Die WPA-Geschichte von Milford zeigt, dass Kapitän William Kidd Milford 1699 besuchte, als er auf dem Weg nach Boston war (wo er später wegen Piraterie und Mordes verhaftet wurde). Vor Kidds Ankunft in Boston lud er Schätze auf Gardiners Island vor der Ostspitze von Long Island ab und begrub sie. Der Schatz wurde nach seiner Verhaftung geborgen, aber es bleiben Fragen, ob sich der gesamte Schatz in diesem Cache befand und ob er möglicherweise mehr davon entlang des Long Island Sound begraben hat.
Karlsinsel bei Flut von Silver Sands. Sommer 2006
Im Jahr 1835 wurde die erste dauerhafte Residenz auf der Insel von John Harris gebaut. Nach seinem Tod war die Insel im Besitz verschiedener Eigentümer und wurde 1852 von Elizur Pritchard aus Waterbury, Connecticut, gekauft, der das große Haus in einen Sommerresort verwandelte, der ursprünglich als Charles Island House und später als Ansantawae House bekannt war. Nach dem Bürgerkrieg wurde das Resort geschlossen und die Insel an die George Miles Company als Basis für ihre Fischdüngergeschäfte verpachtet. Nachdem die Miles Company die Insel verlassen hatte, war sie bis in die 1930er Jahre relativ ungenutzt, als der Dominikanerorden einen religiösen Rückzugsort auf der Insel eröffnete. Das Aquinas Retreat bestand aus einer Kapelle, kleinen Hütten für die Retreatanten, einem zentralen Speisesaal und religiösen Schreinen entlang von Wegen auf der ganzen Insel. Das Retreat wurde Ende der 1930er Jahre geschlossen und einige Überreste davon verbleiben auf der Insel.
Moderne Epochebearbeiten
Der Staat Connecticut besitzt jetzt die Insel und sie ist Teil des Silver Sands State Park. Es ist ein Naturschutzgebiet für die lokale Vogelpopulation von Reihern und Reihern. Weißschwanzhirsche waren weit verbreitet, aber die geschätzten 16 Hirsche auf der Insel wurden im Februar 2011 vom Department of Environment Protection (jetzt Department of Energy and Environmental Protection) gejagt, um die Nistvögel zu schützen. Die Gewässer rund um die Insel haben Blaufische, Schnapper Blues, Sandhaie und Pfeilschwanzkrebse.
Die Gewässer westlich der Insel sind seit 2013 auf einer Fläche von etwa 3,4 Hektar (1,4 ha) ein Standort für die Austernzucht.