Kim est né à Dongnae, une ville maintenant intégrée à Pusan. Rapidement orphelin, il va dès l'âge de 6 ans à l'école d'un missionnaire presbytérien américain, H.G. Underwood. Il fait ses études aux États-Unis, recevant un master de littérature anglaise de l'université de Princeton. Il retourne en Corée pour enseigner en 1905, l'année où le Japon établit son protectorat sur la péninsule. Il fuit en Chine en 1913.
Gouvernement provisoire
En 1919, il se rend à Paris à la conférence de paix pour militer en faveur de l'indépendance de la Corée. Ses efforts restent vains : bien que le président Wilson se soit fait le chantre de l'autodétermination des peuples, ce dernier ne veut pas porter préjudice à son allié japonais.
En à Shanghai, à la création du gouvernement provisoire de la République de Corée, il prend la place de ministre des affaires étrangères. Au mois d'aout, il est ambassadeur aux États-Unis puis ministre de l'éducation à (1920-21 et 1930-35) pour finir vice-président de 1940 à 1947.
La libération
Après la chute du Japon en 1945, Kim retourne dans son pays et participe à la vie politique. Le sud du pays est alors dirigé par l'armée américaine. En tant que représentant de la droite modérée, il est le favori de John Hodge, le gouverneur. Cependant, en 1948, à l'approche des élections qui devait permettre le passage du pouvoir aux Coréens, il décide de boycotter ce scrutin car il craignait qu'il allait sceller la division du pays. Il se retire ensuite de la politique. Fait prisonnier au début de la guerre de Corée (1950-1953), il meurt dans le nord à Manpo le .