In molti testi si dice che fosse un cavaliere dell'Ordine Teutonico, ma una dettagliata ricerca fatta da Ireneo Affò non ha trovato alcun cenno in tal senso nei documenti dell'epoca. Probabile cadetto della nobile famiglia lombarda dei Tanzi di Milano, che diede anche i natali al conte Antonio Tanzi di Blevio e ai nobili asburgici Edler von Tanzi, di lui si sa solo che all'inizio del XIII secolo fondò un ospedale in borgo Taschieri a Parma (oggi borgo Pietro Cocconi), chiamato "di tutti i Santi". Ne è prova un documento notarile redatto in latino e datato 2 dicembre 1201.
Dopo che fu fatta richiesta al vescovo di Parma Obizzo Fieschi, l'ospedale venne dotato di una chiesa, chiamata "di Santa Maria". L'iniziativa del Tanzi fu molto bene accolta dalla cittadinanza di Parma e non tardarono ad arrivare numerose donazioni, con le quali dal 1204 al 1214 si poterono acquistare altre case e terreni adiacenti.
L'ospedale si occupava soprattutto della cura dei poveri e dell'accoglienza ai trovatelli, ma servì anche a dare ospitalità ai pellegrini. Dotato di cospicui mezzi finanziari, il Tanzi diresse l'ospedale fino al 1216, anno in cui probabilmente morì. La conduzione passò a un gruppo di religiosi dell'Ordine di Sant'Agostino, guidati dal sacerdote Pietro, che verso il 1250 trasferì la sede sul lato nord di Strada Maestra di Santa Croce (attualmente strada Massimo D'Azeglio). Divenne noto come Ospedale Degli Esposti in quanto si occupava anche dei trovatelli. A metà del Trecento questa struttura ospitava circa 100 infermi e 70 trovatelli.
Nella seconda metà del XV secolo sulle rovine di questo fabbricato venne costruito il primo nucleo dell'Ospedale della Misericordia, meglio noto come Ospedale Vecchio, che rimase in funzione fino al 1926.
