En , le Congrès autorise le président Abraham Lincoln à appeler 500 000 hommes, pour servir pendant trois ans, sauf s'ils sont libérés plus tôt. Le 4th Vermont Infantry est le troisième des régiments de trois ans de l'État à être mise sur le terrain à la suite de cet appel, et organisé simultanément avec le 5th Vermont Infantry. Il est recruté des villes, surtout dans la partie sud de l'État[réf. nécessaire]. Neuf de ses dix compagnies sont recrutées sur la côte est de l'État, une région culturelle de l'époque[1].
Le régiment se rend à Brattleboro le sur le terrain de ce qui est maintenant la Brattleboro Union High School. Le camp est nommé « camp Holbrook », en l'honneur du gouverneur Frederick Holbrook, de Brattleboro, qui vient d'être élu. Le , le régiment, 1 048 hommes, entre au service fédéral, partant ce soir là, et arrive à Washington, D.C. le soir du , et se rend au camp sur Capitol Hill. Quatre jours plus tard, le régiment marche vers le pont des chaînes, où il rejoint les 2nd, 3rd et 5th Vermont Infantry.
Le , les régiments du Vermont partent vers le camp Griffin, à environ six kilomètres (quatre miles) du pont de chaîne. Ici, le , le 6th Vermont Infantry arrive, complétant l'organisation de la « vieille 1st Vermont Brigade ».
L'histoire du régiment à partir de ce point est essentiellement celle de la brigade du Vermont, à l'exception de plusieurs changements d'officiers supérieurs. Le lieutenant-colonel Worthen et le commandant Tyler démissionnent le . L'adjudant Stoughton devient lieutenant-colonel, et George P. Foster, le capitaine, de la compagnie G, est promu commandant. Le colonel Stoughton est promu brigadier général le ; Charles Stoughton devient colonel, le commandant Foster lieutenant-colonel, et Stephen M. Pingree, à l'origine, premier lieutenant de la compagnie E, devient commandant. Après la décharge de Charles Stoughton en raison de ses blessures, Foster devient le dernier commandant du régiment, et Pingree est promu lieutenant-colonel. Charles Stoughton et George Foster seront tous les deux brevetés brigadier général pour leur bravoure et leur service méritoire.
Le , le régiment « subit les plus grandes pertes en homme par capture » qu'il n'a jamais connues. Il est engagé avec la brigade et le sixième corps dans un mouvement contre le chemin de fer de Weldon, et est mis en avant, sous le commandement du commandant Pratt, avec un bataillon du onzième. L'ennemi perce la ligne avec une grande force, et encercle et capture sept officiers et 137 hommes du quatrième, ainsi que presque la totalité du bataillon du onzième. Les couleurs du quatrième sont sauvées par l'activité et le calme du porte-drapeau. Les officiers capturés sont le commandant Pratt, les capitaines Chapin et Boutin, et les lieutenants Carr, Fisher, Needham et Pierce. Parmi les tués, on retrouve le capitaine William C. Tracy, de la compagnie G. Son corps est trouvé gisant sur le terrain le lendemain, dépouillé de ses armes, de sa montre, de son argent et de ses bottes, et entouré par les fusils de ses hommes, montrant qu'il a rallié sa compagnie autour de lui, et qu'ils ont jeté leurs armes que lorsque leur brave chef est tombé[2].
Les membres d'origine du régiment, qui ne se réengagent pas, sont libérés du service le . La première, la deuxième et la troisième compagnies de tireurs d'élite sont transférées dans le régiment le , et le régiment est consolidé en huit compagnies. Les recrues d'un an et d'autres dont le terme expire avant le , sont libérés le . Le reste des officiers et des hommes quittent le service le .
Alexander M. Beattie, capitaine, compagnie F, « retire, sous un feu nourri, un membre blessé de son commandement vers un lieu en sécurité », lors de la bataille de Cold Harbor, le .
Robert J. Coffey, sergent, compagnie K, « a capturé seul 2 officiers et 5 soldats du 8th Louisiana Regiment (C.S.A.) », à la bataille de Salem Church, le .
James Drury, sergent, compagnie C, « a sauvé les couleurs de son régiment, quand il a été entouré par une force beaucoup plus grande de l'ennemi et après que la plus grande partie du régiment a été tuée ou capturée », à la bataille de Weldon Railroad, le .
George W. Hooker, premier lieutenant, compagnie E, « a chevauché seul, en avant de son régiment, dans les lignes ennemies, et devant ses propres hommes est venu pour recevoir la reddition du commandant d'un régiment confédéré, avec les couleurs et 116 hommes », à la bataille de South Mountain, le .
Carlos H. Riches, premier sergent, compagnie K, « a sauvé la vie d'un officier », à la bataille de la Wilderness , le .
Daniel D. Wheeler, premier lieutenant, compagnie G, a montré « des actes de bravoure dans l'action où il a été blessé et a eu un cheval abattu sous lui », à la bataille de Salem Church, le .
Benedict, G. G., Vermont in the Civil War. A History of the part taken by the Vermont Soldiers And Sailors in the War For The Union, 1861-5. Burlington, VT.: The Free Press Association, 1888.
Crockett, Walter Hill, Vermont The Green Mountain State, New York: The Century History Company, Inc., 1921.
Fox, William F., Regimental Losses In The American Civil War 1861-1865. Albany: Albany Publishing Company. 1889.
Peck, Theodore S., compiler, Revised Roster of Vermont Volunteers and lists of Vermonters Who Served in the Army and Navy of the United States During the War of the Rebellion, 1861-66. Montpelier, VT.: Press of the Watchman Publishing Co., 1892.
Lectures complémentaires
Coffin, Howard, Full Duty: Vermonters in the Civil War. Woodstock, VT.: Countryman Press, 1995.
-----, The Battered Stars: One State's Civil War Ordeal during Grant's Overland Campaign. Woodstock, VT.: Countryman Press, 2002.
Cross, David Faris, A melancholy affair at the Weldon Railroad: the Vermont Brigade, June 23, 1864, Shippensburg, Pa.: White Mane, 2004.
Dyer, Frederick Henry, A Compendium of the War of the Rebellion. New York: T. Yoseloff, 1908. 3 vol.
Poirier, Robert G., By the Blood of our Alumni: Norwich University Citizen-Soldiers in the Army of the Potomac. Mason City, IA: Savas Publishing Co., 1999.
U.S. War Department, The War of the Rebellion: A Compilation of the Official Records of the Union and Confederate Armies, 70 volumes in 4 series. Washington, D.C.: United States Government Printing Office, 1880-1901.
↑G. G. Benedict, Vermont in the Civil War. A History of the part taken by Vermont Soldiers And Sailors in the War For The Union, 1861-5. Burlington, VT.: Free Press Association, 1888, i:171-172.