Sa famille, d’origine néerlandaise, est venue d’Amsterdam s’installer aux États-Unis d'Amérique. Il fait ses études au Baptist College de Los Angeles. Il travaille comme assistant au Field Museum of Natural History de Chicago de 1905 à 1908, puis devient conservateur des oiseaux au musée de zoologie des vertébrés à Berkeley (1908 à 1927). Enfin, il devient conservateur du département des oiseaux et des mammifères à la California Academy of Sciences.
Swarth se consacre à la conservation de l’archipel des Galapagos, espérant y transformer au moins une île en réserve naturelle.
