Ким Джин Гю дебютировал как певец в 1944 году, а позже поступил в Чосонскую развлекательную компанию в качестве стажера, дебютировав на сцене в 1945 году в пьесе «Цветущий абрикос». Изучал актерское мастерство. После освобождения Кореи 15 августа он вместе с Чан Дон Хви и другими основал Театральную труппу «Роза», поставив в качестве своей первой постановки «Прекрасный рассвет».
Его кинодебют состоялся в 1955 году. Впоследствии он стал ведущим актером в золотую эпоху корейского кино в 1960-х годах. Снялся более чем в ста фильмах, среди которых есть лучшие за всю историю южнокорейского кино.
В 1945 году он женился на Ли Мин Джа (1929-1986, актриса), но развелся в 1959 году. В браке родились два сына, Ким Джин Чхоль и Ким Джин Су.
В том же году он снова женился, на актрисе Ким Бо Э (1937-2017, актриса, модель, писательница), но развелся в 1973 году. В 1976 году он женился в третий раз, на Пак Ги Джа, но развелся в 1992 году.
В 1997 году он воссоединился с Ким Бо Э, и они оставались вместе до его смерти в 1998 году. У них было четверо детей, дочери Ким Джин Сон, Ким Джин А (1963-2014, актриса), Ким Рин А, сын Ким Джин Гын (актер, был женат на актрисе Чон Э Ён).