původně známý jako Poquehaug, po osídlení oblasti Angličany v roce 1639 byl ostrov označován jako Milford Island. Poté, co Charles Deal koupil ostrov v roce 1657, stal se známý jako Charles Island. Deal udělal neúspěšný pokus o zvýšení tabáku na ostrově-jeden z prvních takových snah v Connecticutu.
WPA Historii Milford naznačuje, že Kapitán William Kidd navštívil Milford v roce 1699, kdy byl na cestě do Bostonu (kde byl následně zatčen za pirátství a vraždy). Před Kiddovým příjezdem do Bostonu vyložil a zakopal poklad na ostrově Gardiners u východního cípu Long Islandu. Poklad byl získán po jeho zatčení, ale zůstávají otázky, zda byl veškerý poklad v této mezipaměti a zda ho možná pohřbil více podél Long Island Sound.
Karlův Ostrov při přílivu ze stříbrných písků. Léto 2006
v roce 1835 byl na ostrově postaven první trvalý pobyt John Harris. Po jeho smrti byl ostrov ve vlastnictví několika různých majitelů a v roce 1852 byl zakoupen Elizur Pritchard z Waterbury, Connecticut, který se obrátil na velký dům na letní resort původně známý jako Charles Island House a později jako Ansantawae Domu. Po občanské válce se středisko uzavřelo a ostrov byl pronajat společnosti George Miles jako základna pro jejich operace s hnojivy na ryby. Poté, co společnost Miles opustila ostrov, byla relativně nevyužitá až do 30. let, kdy dominikánský řád otevřel náboženské útočiště na ostrově. Aquinas Retreat sestával z kaple, malé kabiny pro retreatants, Centrální jídelna a náboženské svatyně umístěné podél cest po celém ostrově. Ústup uzavřené v pozdní 1930 a některé zbytky zůstávají na ostrově.
moderní éraedit
stát Connecticut nyní vlastní ostrov a je součástí Silver Sands State Park. Je určen jako přírodní rezervace pro místní ptačí populaci volavek a volavek. White-tail deer byly běžné, ale odhaduje 16 jelen na ostrově byli loveni, Odbor Ochrany životního Prostředí (nyní Odbor Energetiky a Ochrany Životního prostředí) v únoru 2011 na ochranu hnízdících ptáků. Vody kolem ostrova mají bluefish, snapper blues, žraloci písku, a kraby podkovy.
vody západně od ostrova jsou od roku 2013 místem chovu ústřic na ploše přibližně 3.4 akrů (1.4 ha).
