Veldheer frequentò l'Hillsdale College dal 2006 al 2009, dove giocò a football per gli Hillsdale Chargers, che competono della NCAA Division II. Alla fine della stagione 2006 fu nominato miglior offensive linemanfreshman dell'anno. Nel 2007, da sophomore, venne inserito nella seconda formazione ideale All-GLIAC. Al termine della stagione 2008, da junior, fu inserito nella prima formazione ideale All-GLIAC. Nel 2009, come senior, giocò tutte le tredici partite della stagione da titolare e venne nominato nella prima formazione ideale All-America della Division II dalla AFCA.
Carriera professionistica
Oakland Raiders
Veldheer fu scelto nel corso del terzo giro del Draft NFL 2010 dagli Oakland Raiders. Il 9 luglio firmò un contratto quadriennale per un totale di 2,685 milioni di dollari, inclusi 895.000 di bonus alla firma. Debuttò come professionista il 12 settembre del 2010 contro i Tennessee Titans nel ruolo di centro. A causa della prestazione negativa del turno precedente, nella seconda partita venne sostituito dal veterano Samson Satele. Il capo allenatore Tom Cable decise di spostarlo nel ruolo di riserva dell'offensive tackle Mario Henderson e dopo poche partite Veldheer si guadagnò il posto da titolare contro i Denver Broncos. Chiuse la stagione disputando tutte le 16 partite. Nell'anno successivo giocò 16 partite tutte da titolare, contribuendo a rendere i Raiders la terza squadra della lega per minor numero di sack concessi agli avversari (25).
Nella stagione 2012 le prestazioni di Veldheer furono in leggero calo, concludendo tuttavia ancora una volta con 16 partite da titolare. Il 13 agosto 2013 dopo una risonanza magnetica gli venne riscontrata una parziale lacerazione del tricipite. Il 16 dello stesso mese venne operato. Con l'inizio della stagione regolare il 7 settembre venne spostato in lista infortunati abili al rientro. Il 13 novembre riprese gli allenamenti mentre il 27 dello stesso mese venne reinserito nel roster ufficiale dei Raiders.
Arizona Cardinals
L'11 marzo 2014, Veldheer firmò con gli Arizona Cardinals un contratto quinquennale del valore di 37,5 milioni di dollari, 17,5 milioni dei quali garantiti[1].
Denver Broncos
Il 23 marzo 2018 viene ceduto ai Denver Broncos per una scelta al sesto giro del draft 2018.