Von 1945 bis 1948 war er Vorsitzender der tschechoslowakischen Grundstückfonds und bis 1951 Mitglied des Zentralkomitees der Kommunistischen Partei. Seit 1946 war er Abgeordneter im Prager Parlament. 1948 führte er während der kommunistischen Machtübernahme die Volksmiliz als stellvertretender Kommandeur. Zwischen 1949 und 1951 war Smrkovský unter Gottwald stellvertretender Landwirtschaftsminister und Generaldirektor der Staatsgüter.
1951 wurde er wegen des Verdachtes der anti-staatlichen Verschwörung, der später auch Generalsekretär Rudolf Slánský beschuldigt wurde, verhaftet und während der Verhöre physischer und psychischer Gewalt ausgesetzt. Ihm wurde weiterhin vorgeworfen, seine Position als Geschäftsführer tschechoslowakischer Staatsgüter kriminell missbraucht zu haben, obwohl hierfür keine Beweise gefunden wurden und er kein Geständnis ablegte. Stattdessen erpresste man den ebenfalls angeklagten Brünner Parteisekretär Otto Šling zu einer Zeugenaussage, welche als Grundlage für Verhaftung und Anklage gegen Smrkovský und andere Beamte diente. Separat vom Slánský-Prozess wurde Smrkovský wegen Verrat und Sabotage zu 15 Jahren Freiheitsstrafe verurteilt, die er im Zuchthaus Prag-Ruzyne antrat. 1955 wurde die Freiheitsstrafe nach einer Empfehlung der Untersuchungskommission für die Revision der politischen Prozesse der KPTsch unter Rudolf Barák ausgesetzt, da einige Justizmethoden als unangemessen betrachtet wurden. Die Entlassung bedeutete jedoch weder Rehabilitation noch Unschuldsvermutung und die Mitgliedschaft in der Kommunistischen Partei blieb ihm weiter verwehrt.
Nach einem Jahr in der landwirtschaftlichen Genossenschaft in Pavlovice (Okres Česká Lípa) wurde er 1956 deren Vorsitzender, reformierte ihre Struktur zu einer der größten der Tschechoslowakei (630 Hektar, 80 Bauern) und begründete den dortigen Obstbau. Auch die dörfliche Infrastruktur wurde verbessert, im Jahr 1961 wurde Pavlovice zum Dorf des Jahres. 1963 erfolgte die volle strafrechtliche, staatsbürgerliche und innerparteiliche Rehabilitation Smrkovskýs und anderer Ökonomen.
Er wurde sofort stellvertretender Vorsitzender der Zentralkommission für Volkskontrolle und Statistik im Ministerium für Volkskontrolle. 1964 wurde er wieder Abgeordneter der Nationalversammlung und unterzog sich dann einem Aufenthalt im Sanatorium zur ärztlichen Untersuchung seiner Beine, die seit seiner Haft schmerzten. Ab 1965 leitete die Zentralverwaltung der Wasserwirtschaft. Als Smrkovský im März 1968 wieder ins Parteipräsidium gewählt wurde, forderte der sowjetische Staats- und Parteichef Leonid Breschnew seinen Rücktritt. Am 21. August 1968 wurde Smrkovský zusammen mit Parteichef Alexander Dubček und Ministerpräsident Oldřich Černík verhaftet und nach Moskau gebracht, wo er gezwungen wurde, das Moskauer Protokoll zu unterschreiben. Nach der Niederschlagung des Prager Frühlings blieb er zunächst im Amt, verlor jedoch 1970 alle Ämter und wurde aus der KP ausgeschlossen.
Smrkovský entwickelte grundlegende Gedanken für eine Reform der kommunistischen Partei. Er war bei der Bevölkerung der Tschechoslowakei sehr beliebt und galt als Symbol der bis dahin stattgefundenen Demokratisierung in der ČSSR.
Jan Skala: Die CSSR. Vom Prager Frühling zur Charta 77. Im Anhang die Smrkowsky Memoiren, Verlag Olle & Wolter, Berlin 1978, ISBN 3-921241-38-3
Wolf Oschlies: Josef Smrkovský (1911-1974). Zum Tode des tschechoslowakischen Politikers in: Berichte des Bundesinstituts für Ostwissenschaftliche und Internationale Studien; Köln 1974, 19