גרייבס נולד ב-18 במרץ 1926 במיניאפוליס שבמינסוטה להורים ממוצא גרמני, נורווגי ואנגלי. אביו היה איש עסקים ואמו הייתה עיתונאית. אחיו הוא השחקן ג'יימס ארנס. גרייבס למד בבית הספר התיכון "Southwest" שבמיניאפוליס. לאחר ששירת במשך שנתיים בחיל האוויר האמריקני המשיך ללימודי דרמה באוניברסיטת מינסוטה.
בשנות החמישים המוקדמות הופיע בתפקידי משנה רבים בקולנוע ובטלוויזיה, בהם מערבונים שונים. ב-1953 הופיע בסרט סטלאג 17 בתור מרגל גרמני שתול בצריף של שבויי מלחמה. ב-1959 הופיע בסרט "אלמוני בזרועותי" לצדו של ג'ף צ'נדלר. לאורך כל קריירת המשחק שלו השתתף גרייבס ביצירתם של מעל ל-70 סרטים וסדרות טלוויזיה, כאשר הבולטים שבהם כוללים את דמותו של ג'ים פלפס, ראש הצוות של ארגון IMF בסדרת הטלוויזיה "משימה בלתי אפשרית" (תפקיד אותו גילם בשנים 1967-1973, ובסדרת ההמשך שצולמה בשנים 1988-1990) ואת דמות הקפטן בסרטים הפרודיים "טיסה נעימה" ו"טיסה נעימה 2".
ב-14 במרץ2010 חזר גרייבס לביתו מבראנץ', קרס ומת מהתקף לב בגיל 83. נמסר כי אחת מבנותיו ניסתה להחיותו, אך ללא הצלחה[3].
חייו האישיים ומשפחתו
גרייבס היה נוצרי אדוק[5]. הוא היה נשוי לג'ואן אנדרס מאז שנת 1950[2] ועד ליום מותו. לזוג שלוש בנות - קלי ז'אן, קלאודיה קינג ואמנדה לי[6][7].