In den darauffolgenden Jahren war er als Richter in Georgia tätig, bis er am 4. März 1829 als Demokrat in den Kongress gewählt wurde, wo er die Nachfolge von George Rockingham Gilmer antrat. Am 13. Januar 1835 legte er dieses Mandat nieder, um seine Ernennung als Richter am Supreme Court durch PräsidentAndrew Jackson annehmen zu können; er folgte dem verstorbenen William Johnson. Vom 14. Januar 1835 bis zu seinem Tod am 5. Juli 1867 war er als Associate Justice tätig.
James Wayne wurde auf dem Laurel Grove Cemetery in Savannah beigesetzt.