Окончил курс на историко-филологическом факультете Санкт-Петербургского университета. Вскоре после того напечатал первую свою работу «Первые славянские монархии на северо-западе» (1872). Защитив магистерскую диссертацию «Никита Акоминат из Хон» (1874), был избран в штатные доценты Новороссийского университета (ныне – Одесский национальный университет имени И. И. Мечникова). В этом звании ездил для научных занятий за границу (главным образом во Францию и в Италию). В 1879 году защитил докторскую диссертацию «Образование второго болгарского царства», после чего был избран профессором Новороссийского университета. В 1900 году утверждён ординарным академиком Академии наук сверх штата.

По его инициативе в Константинополе возник русский археологический институт, директором которого Успенский состоял с 1894 года. Он же основал при нём учёный печатный орган «Известия русского археологического института в Константинополе», в котором помещено несколько его исследований и отчётов о деятельности института. Из Константинополя Успенский совершил несколько археологических экскурсий, из которых особенно важна по своим результатам поездка в Сирию и Палестину.

С самого начала своей учёной деятельности Успенский специализировался на изучении истории Византии и югославянских стран. Этому предмету была посвящена и его вступительная лекция в университете: «О значении византийских занятий в изучении средневековой истории» («Записки Новороссийского Университета», т. XVI). Во время заграничной командировки внимание его тоже было сосредоточено на византийских и славянских рукописях, о чём свидетельствуют его статьи в «Записках Новороссийского Университета» и «Журнале Министерства народного просвещения» за 1877—1879 гг. В этих же двух изданиях он и впоследствии помещал свои многочисленные исследования и рецензии. Среди них особое внимание обращают на себя работы по истории землевладения (к этому же разряду относится работа его о пронии; см. XXV, 445). Некоторые статьи Успенского посвящены русской истории и восточному вопросу. В 1891—1892 гг. он поместил в «Журнале Министерства народного просвещения» ряд весьма ценных «Очерков по истории византийской образованности», которые вышли и отдельной книгой. Читал ряд рефератов на археологических съездах. В ходе работы в архивах Иерусалимской православной церкви обнаружил Тактикон середины IX в.

23 марта 1915 года составил докладную записку о Вселенском патриархате и храме Святой Софии.

В 1922-27 гг. читал курс лекций в Ленинградском университете.

Иностранный член Болгарской АН (1928).