Xavier Ruel est le fils d’Étienne Ruel, tanneur à Annonay, et de Marie-Madeleine Filhol. À la mort de son père, Xavier est placé en apprentissage chez un tisserand, qui le traite mal et dont il quitte l'atelier à l'âge de onze ans[1].
Après avoir débuté dans le commerce à des postes très modestes, Ruel fonde son premier établissement à Lyon en 1846. Trois ans plus tard, il épouse Marie-Madeleine Poncerry (1825-1914). L'une de leurs filles, Louise, née en 1855, mourra de tuberculose en 1877. En sa mémoire, Ruel créera quelques années plus tard une maison de santé pour jeunes filles, qu'il installera dans la villa Daigremont à Cannes (aujourd'hui collège André Capron).
En 1852, Ruel quitte Lyon pour s'installer à Paris, où il fait tout d'abord vendre sa marchandise dans la rue par une vingtaine de camelots avant de fonder en 1854[2] un grand magasin, le futur BHV, à l'emplacement même où ses vendeurs réalisaient leurs meilleurs chiffres[1]. Les locaux, situés sur la rue de Rivoli, sont d'abord loués à la journée, puis à la quinzaine, puis au mois, avant que Ruel n'en devienne le propriétaire[2].
Ruel se fait apprécier dans le 4e arrondissement par de nombreux actes de philanthropie. Pendant le siège de la capitale, il a fait distribuer chaque jour 500 kilogrammes de pain aux pauvres de son quartier. Il a ensuite fondé un dispensaire gratuit dans la rue du Cloître-Notre-Dame (1887), transféré plus tard dans la rue du Plâtre, et une « pension alimentaire » dans la rue de la Verrerie, où des repas étaient servis à prix très réduits. Il a également été bienfaiteur et président d'honneur des sociétés de secours mutuels des quartiers Notre-Dame, de l'Arsenal et Saint-Merri.
Le , il est élu conseiller municipal dans le quartier Notre-Dame, où il bat dès le premier tour le sortant, le radical « autonomiste » Yves Guyot, par 1 030 voix contre 838. Républicain modéré (« opportuniste »), Ruel n'est pourtant pas défavorable, sous certaines conditions, à la création d'une mairie centrale de Paris, rejoignant ainsi en partie les revendications des radicaux autonomistes[2].
En , Ruel est accusé d'avoir vendu de mauvaise foi des « bijoux fourrés » (c'est-à-dire plaqués d'une fine couche de métal précieux) et de posséder une fabrique de faux articles de Paris à Sonneberg, en Allemagne. Ce dernier établissement n'était en réalité qu'une simple agence d'achat de marchandises, que Ruel ne possédait plus depuis plusieurs années. Affirmant cependant qu'un élu ne doit pas être soupçonné, Ruel démissionne de son poste de conseiller municipal le [2].
Très vite, l'innocence et la bonne foi de Ruel sont établies dans les deux affaires[2]. Il décide donc de reprendre au radical-socialiste autonomiste Théodore Jeaud son siège à l'hôtel de ville à l'occasion des élections de . Arrivé nettement en tête du premier tour, avec 744 voix, contre 552 à Jeaud, 413 au monarchiste Durnerin et 345 à un autre radical-socialiste autonomiste, Turin, il l'emporte au second tour, par 1 078 suffrages, contre 838 à Jeaud.
Lors des élections législatives de 1889, Ruel est candidat dans la 2e circonscription du 4e arrondissement. Au premier tour, il arrive en troisième position, avec 1 628 voix, derrière le boulangisteJules Thiessé (1 940 voix) et le radical-socialiste Henri-Blaise Chassaing (2 005 suffrages)[4]. Ce dernier est élu au second tour, Ruel s'étant désisté en sa faveur[5].
Ruel est réélu avec de larges majorités aux premiers tours des élections municipales de 1890 et 1893. Lors du scrutin de mai 1896, avec 1 041 suffrages, contre 668 à l'avocat républicain socialiste Achille Voillaume, 377 au socialiste rochefortiste Bonvalet et 117 au républicain indépendant Dabault, il lui manque moins de 90 voix pour ne pas être mis en ballotage[6]. La semaine suivante, il est réélu par 1 094 voix, contre 1 015 à Voillaume[7].