Nemeskisfaludon született református családba. Édesapja, Gedeon Somogy vármegyei táblabíró, édesanyja Tóth Zsófia háztartásbeli volt.
Már 1832-ben, alig 18 évesen bekapcsolódott a közügyekbe bátyja, Madarász László oldalán; ekkor lett a sárkeresztúri kerület követe az 1832–1836-os rendi országgyűlésben. Innentől kezdve 1915-ös haláláig ezt a kerületet képviselte a törvényhozásban. 1834-ben ügyvédi vizsgát tett, miközben bekapcsolódott az országgyűlési ifjak tevékenységébe. A csoportot titkolt demokrata és köztársaságpárti nézeteik miatt 1836-ban betiltották, tagjai közül Kossuth Lajost, Wesselényi Miklóst, Lovassy Lászlót, Lovassy Ferencet, Tormásy Jánost és besúgójukat, Lapsánszky Jánost letartóztatták, a többiek ellen pedig elfogatóparancsot adtak ki. A letartóztatottak egy részét perbe fogták és később el is ítélték (a Lovassy testvéreket, Tormásyt valamint Wesselényit. A besúgó Lapsányit csak látszatból, ő álnéven dolgozhatott tovább Bécsben).[1] Az el nem fogottakat főispáni közbenjárással megmentették a következményektől. Madarászt eltiltották a parlamenttől; innentől kezdve Fejér vármegye közügyeiben vett részt 1848-ig. Az 1840-es évek elején megnősült, ebből a házasságból született Jenő fia, aki 1869-től 1872-ig, majd 1875-től 1892-ig szintén országgyűlési képviselő volt függetlenségi színekben.
Az 1848-as választásokon a sárkeresztúri kerületben szerzett mandátumot. Az országgyűlés tevékenységében az utolsó napig aktív szerepet vállalt, amiért a szabadságharc leverése után hat év börtönre ítélték. Büntetését a kufsteini és az olmützi börtönökben töltötte le. 1856-ban szabadult; kényszerlakhelyéül Paksot jelölték ki számára. 1859-ben meglátogatta bátyját Amerikában, valamint Kossuthot Londonban.
Hazatérése után újra bekapcsolódott a politikai életbe. Az 1861-es választásokon újra megválasztották képviselőnek, ahogy haláláig mindahányszor. 1861-ben a Határozati Párthoz csatlakozott, majd az 1865-ös választásokon a Balközép Párt radikális szárnyának („Szélsőbal”) volt a tagja. Mikor a Szélsőbal 1868-ban végül Országos 1848-as Párt néven kivált a Balközépből, az új párt egyik alapító-vezére lett, az 1860-as évek végén egy ideig még elnökölte is azt.
Harcos függetlenségiként („49-esként”) az 1848 utáni egész politikai pályája során az Ausztriával történő mindennemű közösködés felszámolásáért küzdött; 1867-ben egyike volt azon hét képviselőnek, akik Ferenc József magyar királlyá koronázása ellen voksoltak, s a beiktatási ceremónián sem jelentek meg, helyette Cinkotán tiltakoztak a szerintük törvénytelen aktus ellen.
1868-ban ismét találkozott Kossuthtal, ezúttal Torinóban, hogy hazahívja, próbálkozása azonban nem járt sikerrel.
Még 1857-ben megözvegyült, de az 1870-es években újranősült. Második házasságából született József fia 1879-ben, aki 1905 és 1910 között úgyszintén országgyűlési képviselő volt függetlenségi színekben. Az ifjabb József mint az egyik legfiatalabb képviselő, 1905-ben korjegyző volt (miközben apja korelnök).
Az 1892-es választásokat követően felállt új közgyűlésben már Madarász volt a legidősebb képviselő (78 éves volt ekkor), s mint ilyen, korelnök lett. A helyzet haláláig nem változott, így korelnökként az 1892-es, 1896-os, 1901-es, 1905-ös és az 1910-es választásokat követően felállt új parlamenteket is ő nyitotta meg (1906-ban nem vállalta a korelnökséget, helyette a csak négy évvel fiatalabb Szappanos István mondott nyitóbeszédet). 1898. december 17-énSzilágyi Dezső és alelnöktársai kollektív lemondása révén az érvényben lévő szabályozás értelmében mint korelnök, a magyar képviselőház (ideiglenes) elnöke lett. Összesen negyvenegy ülésen elnökölt a Bánffy-kormány fennállásának legkritikusabb szakaszában. A kormány február 26-án lemondott, így 1899. március 2-án már meg is választották és be is iktatták az alsóház új elnökét, Perczel Dezsőt, és alelnökeit. 1912-től visszavonultan Kispesten élt, a képviselőház ülésein nem vett részt.[2]1915. január 31-én érte a halál az akkor még önálló város Kispesten. A Kerepesi temetőben helyezték örök nyugalomra.
A parlamentben 1848-tól kezdve a legaktívabbak közé tartozott; több száz felszólalásában elsősorban a vasútfejlesztés, választókerülete aktuális problémái, az aktuális újonctörvény, az aktuális házszabály, valamint az Ausztriával való mindennemű közösködés és együttműködés felmondásának sürgetése voltak legkedveltebb témái.
Madarász József Magyarország legidősebb megválasztott (95 évesen) és a legidősebb aktív (100 évesen) országgyűlési képviselője volt. Ha a modern értelemben vett magyar parlamentarizmus töretlen lett volna 1848-as születésétől kezdve, összességében 67 évet is eltölthetett volna a parlament padsoraiban (az 1832-1836-os ciklust is beleszámítva összesen 56 éven át volt képviselő). A sors különös tréfájaként mind közül ő volt a legrövidebb ideig a képviselőház (alsóház) elnöke, 1898–1899 fordulóján, mindössze két és fél hónapig és ekkor is csak korelnöki státuszából kifolyólag, ideiglenesen. Az egyetlen olyan politikus, aki mind a forradalom előtti pozsonyi, mind a forradalom alatti pozsonyi, pesti, majd debreceni, majd a kiegyezés körül és után ismét pozsonyi, aztán pesti (Sándor utcai) végül pedig a mai Országházban is helyet foglalhatott mint képviselő.
