Улица была проложена в 1691 году[1]. Долгое время на южной оконечности улицы находился корабельный слип. По нему улица и получила своё название. В 1792 году из порта на Олд-Слип вышел бриг Betsy под командованием Эдмунда Фаннинга. Он стал первым кораблём, совершившим кругосветное плавание под флагом США[2][3].
По состоянию на 1728 год на Олд-Слип находился один из пяти городских рынков (остальные находились на Брод- и Уолл-стрит, Кунтис-Слип и Мейден-Лейн)[4]. Во второй половине XVIII века дорога перед рынком была вымощена[5]. В 1821 году рынок Флай-Маркет на Мейден-Лейн был закрыт, и вместо него в том же году (по другим данным — в 1822 году)[6] на Олд-Слип был открыт новый рынок, Франклин-Маркет[7]. Он серьёзно пострадал при пожаре в ночь с 16 на 17 декабря 1835 года[8]. Огнём было уничтожено много товара, среди которого были шелка, кружева, книги и кофе[9]. В 1837—1838 годах рынок был восстановлен в кирпиче[10]. В 1909—1911 годах по проекту архитекторов Ричарда и Джозефа Хауленд Хантов[11] на Олд-Слип было возведено здание, которое в 1982 году было внесено в Национальный реестр исторических мест США. С 2002 года в нём располагается Музей полиции Нью-Йорка[12].