I samband med finanskrisen i USA på 1980-talet blev Walker dömd för oegentligheter som hade med banken First American Savings & Loan Association of Oak Brook att göra. Han dömdes 1987 till ett sjuårigt fängelsestraff. Han tillbringade sedan 18 månader i fängelse i Duluth.
Walker var gift tre gånger. Det andra äktenskapet slutade 1989 i skilsmässa medan Walker satt i fängelse.