eredetileg Poquehaug néven ismert,miután a területet az angolok 1639-ben letelepítették, a szigetet Milford-szigetnek nevezték. Miután Charles Deal 1657-ben megvásárolta a szigetet, Charles Island néven vált ismertté. Deal sikertelen kísérletet tett a dohány termesztésére a szigeten – ez az egyik első ilyen erőfeszítés Connecticutban.
a WPA Milford története azt jelzi, hogy William Kidd kapitány 1699-ben meglátogatta Milfordot, amikor Bostonba tartott (ahol később kalózkodás és gyilkosság miatt letartóztatták). Mielőtt Kidd megérkezett volna Bostonba, kincseket rakodott ki és ásott el a Gardiners-szigeten, Long Island keleti csücskénél. A kincset letartóztatták, de továbbra is kérdéses, hogy az összes kincs abban a gyorsítótárban volt-e, és eltemethetett-e belőle többet Long Island Sound mentén.
Károly-sziget dagálykor Ezüsthomokból. 2006 nyara
1835-ben az első állandó lakóhelyet John Harris építette a szigeten. Halála után a sziget több különböző tulajdonos tulajdonában volt, és 1852-ben megvásárolta Elizur Pritchard nak, – nek Waterbury, Connecticut aki a nagy házat eredetileg Charles Island House néven, később pedig ansantawae House néven ismert nyári üdülőhelygé változtatta. A polgárháború után az üdülőhely bezárt, és a szigetet bérbe adták a George Miles Company-nak, mint bázist a haltrágyázási műveleteikhez. Miután a Miles Company elhagyta a szigetet, viszonylag kihasználatlan volt az 1930-as évekig, amikor a domonkos rend vallási menedéket nyitott a szigeten. Az Aquinói visszavonulás egy kápolnából, a visszavonulók kis kabinjaiból, egy központi étkezőből és vallási szentélyekből állt, amelyek a sziget egész ösvényei mentén helyezkedtek el. A visszavonulás az 1930-as évek végén bezárt, néhány maradványa a szigeten maradt.
Modern kor
Connecticut állam birtokolja a szigetet, és a Silver Sands Állami Park része. A helyi gémek és kócsagok madárpopulációjának természetvédelmi területe. A fehérfarkú szarvasok gyakoriak voltak, de a becslések szerint a szigeten lévő 16 szarvasra a Környezetvédelmi Minisztérium (jelenleg az Energiaügyi és Környezetvédelmi Minisztérium) vadászott 2011 februárjában a fészkelő madarak védelme érdekében. A sziget körüli vizekben kékhal, sügérkék, homokcápákés patkórákok.
a szigettől nyugatra fekvő vizek 2013 óta az osztrigatenyésztés helyszíne, körülbelül 3,4 hektár (1,4 ha) területen.
