McKim blev født i Chester County, Pennsylvania. Hans forældre var James Miller McKim, en presbyteriansk minister, og Sarah Speakman McKim. De var aktive afskaffelse, og han blev opkaldt efter Charles Follen, en anden afskaffelse og en unitarisk minister. Efter at have gået på Harvard University studerede han arkitektur ved Kunstmuseet i Paris, inden han kom til Henry Hobson Richardsons kontor i 1870. McKim dannede sit eget firma i partnerskab med Vilhelm Rutherford Mead, sluttede sig til i 1877 af kollega Richardson prot.
i ti år blev firmaet primært kendt for deres åbne uformelle sommerhuse. McKim blev bedst kendt som en eksponent for Kunstarkitektur i stilarter af amerikansk renæssance, eksemplificeret ved Boston Public Library (1888-95) og flere værker i Ny York City, herunder Morningside Heights campus of Columbia University (1893), University Club Of Ny York (1899), Pierpont Morgan Library (1903), ny Penn Station (1904-10) og Butler Institute of American Art i Ungby, Ohio (1919). Han designede palæet (1896) i Hyde Park.
McKim, med hjælp fra Richard Morris Hunt, var medvirkende til dannelsen af American School of Architecture i Rom i 1894, som er blevet American Academy i Rom, og designet de vigtigste campusbygninger med sit firma McKim, mjød og hvid.
McKim giftede sig først med Annie Bigelav i 1874 og efter at have skilt sig Bigelav gift med Julia Amory Appleton i 1885.McKim døde 62 år gammel i St. James den 14. September 1909.
Medlemskabredit
McKim var medlem af Kongresudvalget for forbedring af Parksystemet, Kunstkommissionen, Accademia di San Luca (Rom, 1899), American Academy i Rom og Architectural League. Han var æresmedlem og tidligere præsident for American Institute of Architects og æresmedlem i Society of Mural Painters. Han blev National akademiker i 1907. Han tilhørte universitetet, Lammene, ketsjeren og Tennisklubberne i Boston og St. Botolph og Somerset klubberne i Boston.
