Окончил Киево-Подольское духовное училище. В 1883 году окончил Киевскую духовную семинарию, в 1887 году — Киевскую духовную академию со степенью кандидата богословия. В 1885—1889 годах был домашним чтецом у ректора академии архимандрита Сильвестра (Малеванского); оказывал ему техническую помощь при написании первых двух томов из пятитомного труда «Догматическое богословие». С 1887 года преподавал в церковно-приходской школе в селе Липовка Киевского уезда, с 1888 года был преподавателем Закона Божия в двухклассном министерском училище в местечке Шпола того же уезда, где большое влияние имели штундисты.

С 1889 года — киевский епархиальный миссионер, преподаватель церковно-приходской школы Киевского Свято-Владимирского братства, а с 1890 года — полтавский епархиальный миссионер и преподаватель истории. С 1894 года пастырского руководства, литургики и гомилетики в Полтавской духовной семинарии.

Занимался миссионерской деятельностью в течение двух десятилетий. Активно противодействовал развитию баптизма на Украине, написал книгу «Обличение штунды в библейских текстах» с критикой взглядов представителей этого течения, которая стала пособием для миссионеров и священников.

Был рукоположён в сан священника целибатом 2 февраля 1892 года; зачислен в клир Полтавского кафедрального собора. С 1892 по 1896 годы — руководитель и законоучитель Полтавской женской воскресной школы. С 1896 года — епархиальный наблюдатель церковных школ Полтавской епархии, член совета Свято-Макарьевского братства и епархиального училищного совета; 12 мая 1902 года был возведён в сан протоиерея.

В 1910 году — председатель Полтавского миссионерского совета, награждён наперсным золотым крестом с драгоценными украшениями. 10 декабря был пострижен в монашество с именем Сильвестр и возведён в сан архимандрита. До пострижения многие годы вёл монашескую жизнь, жил в скромной келье при монастырской гостинице.

С 1911 года — епископ Прилукский, викарий Полтавской епархии. Здесь он организовывал богословские чтения для интеллигенции, создал «Братство законоучителей и педагогов в память отца Иоанна Кронштадтского», издавал Переяславский Полтавский патерик.

С 1914 года — епископ Челябинский, первый викарий Оренбургской епархии.

С 1915 года — епископ Омский и Павлодарский.

В 1917 году стал членом Поместного собора Православной Российской Церкви; был членом-делопроизводителем Судной комиссии при Совещании Епископов, заместителем председателя IX и членом III, VII, XIV отделов.

После издания большевистскими властями декрета об отделении церкви от государства организовал в Омске крестный ход (4 февраля 1918 года), в ходе которого обращался к народу с призывом хранить православную веру и защищать храмы от безбожников. В ночь с 5 на 6 февраля арестован большевиками; при аресте был убит эконом владыки, Николай Цикура. Эти события вызвали возмущение прихожан. Закрылись учреждения, магазины, учебные заведения, красногвардейцы на улицах разгоняли народ. Власти вначале ввели в городе осадное положение, но уже 8 февраля были вынуждены освободить архиерея.

5 мая 1918 года патриархом Тихоном был возведён в сан архиепископа.

В ноябре 1918 года был избран главой Временного высшего церковного управления Сибири. В этот период Церковь получила отобранные у неё земли и собственность, в Сибири была восстановлена учебная деятельность в пяти духовных семинариях и в пяти духовных училищах, издавались журналы «За святую Русь» и «Сибирский благовестник».

После оставления Омска Русской армией остался в своей епархии. После прихода красных был взят под арест, позже освобождён, но изгнан из архиерейского дома. Жил у священника Фёдора Чемагина.

Почил о Господе 10 марта 1920 года от рака кишечника.

В 1998 году был прославлен как местночтимый святой Омской епархии.

В августе 2000 году Архиерейский собор Русской Православной Церкви причислил святителя Сильвестра (Ольшевского) к лику новомучеников и исповедников Российских как священномученика.

Мощи святого были обретены 16 июля 2005 года при раскопках фундамента разрушенного в 1930-х годах Успенского собора, в его Никольском приделе. Была проведена экспертиза, которая показала следы предсмертных пыток и жестокого убийства святителя.
Впоследствии, однако, была найдена запись лечащего врача о смерти свт. Сильвестра от рака кишечника, почему согласно резолюции Святейшего Патриарха Московского и Всея Руси Кирилла от 18 мая 2018 года постановили «Архиепископа Омского Сильвестра (Ольшевского) именовать священноисповедником». Трудно сказать, насколько добросовестной была эта врачебная запись: вполне может быть, что врач таким образом прикрывал бессудное убийство. Во всяком случае, более точным представляется в этом вопросе определение Архиерейского собора 2000 года, т.к. после обретения мощей мученическая кончина архиеп. Сильвестра была установлена судебными экспертизами.