Bei den Kongresswahlen des Jahres 1948 wurde Golden im neunten Wahlbezirk von Kentucky in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 3. Januar 1949 die Nachfolge von William Lewis antrat. Nach einer Wiederwahl im Jahr 1950 konnte er diesen Distrikt bis zu dessen Auflösung am 3. Januar 1953 im Kongress vertreten. Bei den Wahlen des Jahres 1952 wurde er als Nachfolger von Joe B. Bates im achten Bezirk erneut in das US-Repräsentantenhaus gewählt. Zwischen dem 3. Januar 1949 und dem 3. Januar 1955 konnte er drei Legislaturperioden absolvieren. Diese Zeit wurde vom Koreakrieg und dem beginnenden Kalten Krieg sowie den Ereignissen der Bürgerrechtsbewegung geprägt.
Im Jahr 1954 verzichtete James Golden auf eine weitere Kandidatur. Danach zog er sich aus der Politik zurück. In den folgenden Jahren bis zu seinem Tod am 6. September 1971 praktizierte er wieder als Anwalt.