De Hoop Scheffer a studiat dreptul la Universitatea din Leiden. La terminarea stagiului militar în cadrul aviației olandeze, unde a devenit ofițer în rezervă, De Hoop Scheffer a lucrat în ministerul afacerilor externe olandez din 1976 până în 1986. Inițial a lucrat la ambasada olandeză din Ghana, după care a lucrat în cadrul delegației olandeze pe lângă OTAN la Bruxelles până în 1980.
Pentru alegerile din 2002 De Hoop Scheffer se retrage de la șefia partidului și este urmat de Jan Peter Balkenende. În urma alegerilor din 15 mai2002 Balkenende devine prim-ministru iar De Hoop Scheffer este numit ministru al afacerilor externe în primul cabinet Balkenende și în cel de-al doilea de după alegerile anticipate din 22 ianuarie2003. În calitate de ministru de externe, a participat la decizia de susținere a Invaziei Irakului din 2003, Țările de Jos participând până în 2005 cu 1100 de militari staționați în provincia Al Muthanna, doi dintre ei fiind uciși în această perioadă. În 2003, în timpul președinției Țărilor de Jos, Jaap de Hoop Scheffer a fost președintele Organizației pentru Securitate și Cooperare în Europa
Pe data de 5 ianuarie2004, De Hoop Scheffer îi urmează Lordului Robertson în calitate de Secretar General al OTAN. Anunțul a fost făcut pe data de 22 septembrie2003.[2]. Ca Secretar Genera, De Hoop Scheffer a încercat să încurajeze membrii OTAN să participe mai mult la diversele operațiuni ale alianței, cum ar fi cea din Afganistan.[3]
