Caroline Bouvier Kennedy blev født den 27.November 1957 på Cornell Medical Center i Manhattan. Et år før Carolines fødsel havde hendes forældre en dødfødt datter ved navn Arabella. Caroline havde to yngre brødre: John Jr., der blev født lige før hendes tredje fødselsdag, og Patrick, der døde to dage efter sin for tidlige fødsel i 1963. Caroline boede sammen med sine forældre i de første tre år af sit liv.da Caroline var tre år gammel, flyttede familien til Det Hvide Hus, efter at hendes far blev svoret ind som præsident for De Forenede Stater.Caroline deltog ofte i børnehaven i klasser, der blev arrangeret af hendes mor, og hun blev ofte fotograferet på sin pony “makaroni” rundt om Det Hvide Hus. Et sådant foto i en nyhedsartikel inspirerede sanger-sangskriver Neil Diamond til at skrive sin top ti hit sang, “søde Caroline”—som han afslørede, da han udførte det til hendes 50-års fødselsdag.
som et lille barn modtog Caroline adskillige gaver fra dignitarier, herunder en hvalp fra den sovjetiske premierminister Nikita Khrushchev og en Yucat-pony fra vicepræsident Lyndon B. Johnson. historikere beskrev Carolines barndom personlighed som” en bagatel fjern og lidt genert til tider “endnu” bemærkelsesværdigt uspoleret.”hun er for ung til at indse al denne luksus”, sagde hendes farmor, Rose Kennedy, om hende. “Hun synes sandsynligvis, at det er naturligt for børn at gå ud i deres egne fly. Men hun er sammen med sine fætre, og nogle af dem danser og svømmer bedre end hun. De tillader ikke hende at have særlig forrang. Små børn accepterer ting”.på dagen for mordet på JFK den 22. November 1963 tog barnepige Caroline og John Jr.væk fra Det Hvide Hus til hjemmet til deres mormor, Janet Lee Auchincloss , der insisterede på, at Shav var den, der fortalte Caroline om sin fars død. Den aften blev Caroline og John Jr. bragt tilbage til Det Hvide Hus, og mens Caroline lå i sin seng, brød hun nyheden til hende. det er en af de mest populære måder at få børn på, og det er en af de bedste måder at gøre det på. den 6. December, to uger efter mordet, flyttede Caroline og John Jr.ud af Det Hvide Hus.
deres nye hjem blev hurtigt en populær turistattraktion, og de flyttede senere ud til en penthouse lejlighed på 1040 Fifth Avenue på Upper East Side af Manhattan det følgende år.