Der Sohn eines armen Farmers in Georgia ging in Atlanta auf eine öffentliche Schule. Nachdem er 1925 seinen Abschluss an der Boys High School erreicht hatte, arbeitete er zwei Jahre für einen Anwalt in Atlanta und besuchte das Davidson College. Er war Mitglied der Kappa AlphaFraternity (Sigma Chapter) und erhielt während seiner Zeit als Rhodes-Stipendiat im St. John’s College 1933 den Cecil-Friedenspreis. Von 1934 bis 1940 lehrte er am Mills College in Oakland, Kalifornien. 1940 promovierte er im Fach Jura an der University of California in Berkeley. Am 9. Juni 1937 heiratete er Virginia Foisie, mit der er drei Kinder hatte.
Am 12. Dezember 1960 berief der gewählte Präsident der Vereinigten Staaten, John F. Kennedy, Rusk als Außenminister in sein Kabinett. Am 21. Januar 1961 übernahm Rusk damit die Leitung des Außenministeriums, nachdem der US-Senat die Nominierung des Präsidenten bestätigt hatte. Rusk war ein Verfechter der militärischen Bekämpfung des Kommunismus, während der Kubakrise suchte er jedoch eine diplomatische Lösung. Zu Beginn seiner Amtszeit hegte er Bedenken gegen einen militärischen Einsatz der USA in Vietnam; seine rigorose öffentliche Verteidigung der amerikanischen Aktionen in Krieg machten ihn später zu einem Hauptfeind der Kriegsgegner.
Abgesehen von seinem Kampf gegen den Kommunismus setzte Rusk seine bereits bei der Rockefeller-Stiftung verfolgte Politik fort, Entwicklungsländer zu unterstützen und den Welthandel durch geringe Zölle zu stärken. Rusk zog den wütenden Protest der amerikanischen Israel-Lobby auf sich, als er eingestand, der USS-Liberty-Zwischenfall im Sechstagekrieg sei ein israelischer Angriff und kein Unfall gewesen.
Sein Verhältnis zu Präsident Kennedy war nicht allzu gut, mehrere seiner Rücktrittsgesuche wurden abgelehnt. Nach der Ermordung von John F. Kennedy bot Rusk dem neuen Präsidenten, Lyndon B. Johnson, seinen Rücktritt an. Dieser bat ihn jedoch zu bleiben. Die beiden Südstaatler wurden Freunde. Als Johnson 1973 starb, hielt Rusk die Grabrede. Rusk wollte auch 1967 zurücktreten, nachdem bekannt geworden war, dass seine Tochter Peggy einen afroamerikanischen NASA-Mitarbeiter, Guy Smith, heiraten wollte, worauf Präsident Johnson ihn erneut bat im Kabinett zu bleiben. Rusk blieb bis Ende von Johnsons Amtszeit im Januar 1969 Außenminister.
Von 1970 bis 1984 unterrichtete Rusk Internationales Recht an der University of Georgia.
Thomas H. Buckley: Dean Rusk. In: Edward S. Mihalkanin (Hrsg.): American Statesmen: Secretaries of State from John Jay to Colin Powell. Greenwood Publishing 2004, ISBN 978-0-313-30828-4, S. 443–449.