McKim föddes i Chester County, Pennsylvania. Hans föräldrar var James Miller McKim, en presbyteriansk minister och Sarah Speakman McKim. De var aktiva abolitionister och han namngavs efter Charles Follen, en annan abolitionist och en unitarisk minister. Efter att ha gått på Harvard University studerade han arkitektur vid Aucculcole des Beaux-Arts i Paris innan han började på Henry Hobson Richardsons kontor 1870. McKim bildade sitt eget företag i samarbete med William Rutherford Mead, gick med i 1877 av kollega Richardson Prot ubeng ubenford White.
i tio år blev företaget främst känt för sina informella sommarhus med öppen planlösning. McKim blev mest känd som en exponent för Beaux-Arts arkitektur i stilar av amerikansk renässans, exemplifierad av Boston Public Library (1888-95) och flera verk i New York City, inklusive Morningside Heights campus Columbia University (1893), University Club of New York (1899), Pierpont Morgan Library (1903), New York Penn Station (1904-10) och Butler Institute of American Art i Youngstown, Ohio (1919). Han designade Howard Mansion (1896) i Hyde Park, New York.McKim, med hjälp av Richard Morris Hunt, bidrog till bildandet av American School of Architecture i Rom 1894, som har blivit American Academy i Rom, och designade huvudcampusbyggnaderna med sitt företag McKim, Mead och White.McKim gifte sig först med Annie Bigelow 1874 och efter skilsmässa gifte sig Bigelow med Julia Amory Appleton 1885.McKim dog vid 62 års ålder i St. James, New York den 14 September 1909.
Medlemskapredigera
McKim var medlem i Kongresskommissionen för förbättring av Washington park-systemet, New York Art Commission, Accademia di San Luca (Rom, 1899), American Academy i Rom och Architectural League. Han var hedersmedlem och tidigare president för American Institute of Architects, och hedersmedlem i Society of Mural Painters. Han blev en nationell akademiker 1907. Han tillhörde universitetet, lamm, racket och tennisklubbar i New York, och till St.Botolph och Somerset klubbar i Boston.