Étudiant le droit, il est admis au barreau de l'Arkansas en 1873. En 1876, il est élu procureur (prosecuting attorney) du 12e district judiciaire, poste qu'il occupe jusqu'en 1882.
En 1894, il est élu représentant de l'État à Washington pour achever le mandat de Clifton R. Breckinridge(en). Il conserve ce siège jusqu'à sa démission en 1907, pour devenir gouverneur de l'Arkansas en .
Mais, peu après son installation, il souffre de crises nerveuses qui l'empêchent d'accomplir ses obligations officielles. Il est remplacé par le président du Sénat de l'Arkansas, John Isaac Moore.
Little ne guérit pas et meurt en 1916 à l'hôpital d'État dans l'Arkansas, pour des désordres nerveux. Il est enterré au cimetière municipal de Greenwood (Arkansas).