In 1966 nam Harvey plaats in het federale hof van Maryland (United States District Court for the District of Maryland). Op 9 september 1966 werd hij door Lyndon B. Johnson voorgedragen om de zetel van de vertrekkende Harrison L. Winter in te nemen. Van 1986 tot 1991 was hij werkzaam als hoofdrechter. Op 8 maart 1991 verkreeg hij de senior status.