Нью-Йоркский университет был основан 21 апреля 1831 года группой влиятельных нью-йоркцев, среди которых был и бывший министр финансов США Альберт Галлатин, считающийся отцом-основателем университета. В противоположность университетам восточного побережья, он должен был быть доступен всем классам, особенно рабочему, и всем религиозным конфессиям. Образцом послужили университеты Парижа, Вены и Университетский колледж Лондона. Концепция образования предполагала, в отличие от принятой классической концепции, наличие новых учебных курсов, например, экономической политики, истории и современных языков. Эту позицию университет сохранил и сегодня. Семейственность и наследственность в преподавательском составе, а также раздача высоких оценок состоятельным студентам не знакомы этому учебному заведению.
Первые два года университет снимал помещения в Клинтон-Холле, затем в 1833 году он приобрел землю на площади Вашингтона. Началось интенсивное строительство. В 1835 году была открыта Школа юридических наук, первая профессиональная школа университета.
В 1894 году в Бронксе, рядом с Колумбийским университетом появилось второе здание университета. Сюда был перенесён Колледж наук и искусств, а также Инженерная школа.
Первоначальное название «Университет города Нью-Йорка» было изменено в 1896 году на «Нью-Йоркский университет».
В начале 70-х годов университет находился на грани банкротства, но сумел справиться с трудностями. Сегодня университет является третьим крупным владельцем недвижимости в Нью-Йорке после городского муниципалитета и католической церкви.
В 60-е и 70-е годы студенты Нью-Йоркского университета приняли активное участие в акциях протеста сначала против чернокожих студентов, а затем войны во Вьетнаме.