Il film copre una settimana, a cominciare da lunedì, nella vita di Paterson, che lavora per la società di trasporto pubblico come autista di autobus nella cittadina di Paterson del New Jersey, città dove vive e in cui è nato il poeta William Carlos Williams, vissuto tra il 1883 e il 1963. Paterson conduce una vita ordinaria e tranquilla, un po' monotona, fatta di piccole emozioni, riti quotidiani e un rapporto affettuoso con la moglie Laura e il loro cane Marvin.
Ogni giorno segue più o meno lo stesso schema: Paterson si alza presto e va al lavoro, dove ascolta i passeggeri che parlano e, durante le pause, scrive poesie su un taccuino che porta con sé. Dopo il lavoro porta Marvin a passeggio e si ferma per una birra allo Shades Bar, dove interagisce con gli altri avventori e il proprietario Doc. La moglie di Paterson, Laura, ama le sue poesie e lo spinge da tempo a farle pubblicarle o almeno a farne delle copie. Paterson promette di andare in copisteria nel fine settimana, ma quando marito e moglie tornano a casa da una serata al cinema, scoprono che Marvin ha stracciato il taccuino, distruggendo le poesie.
Il giorno dopo Paterson, caduto nello sconforto per l'accaduto, si reca alle Great Falls del fiume Passaic: lì, mentre è seduto su una panchina del parco dove è solito pranzare da solo, un poeta giapponese si avvicina e gli si siede accanto, iniziando una conversazione sulla poesia. L'uomo sembra sapere che anche Paterson è un poeta anche se lo nega e gli porge un regalo, un quaderno vuoto. Il film si conclude con Paterson che scrive una poesia nel suo nuovo taccuino.