В двадцать лет поступил в Казанскую духовную академию, где отличился большими способностями к изучению языков. По окончании учебы в 1846 году, был оставлен в академии "бакалавром естественных наук и турецко-татарского языка"; преподавал также естественно-научные предметы, историю философии, древнееврейский язык. В 1850 году командирован в Санкт-Петербург для проверки татарского перевода богослужебных книг и Нового Завета.

Затем, в 1851-1853 годах последовала научная командировка на Ближний Восток: он отправился в Дамаск, Константинополь и Каир, где изучал мусульманское богословие, арабский, турецкий и персидский языки.

В 1854 году, во вновь открытом при Казанской духовной академии противомусульманском отделении, преподавал арабский и турецкий языки, а также другие науки. Затем, с 1858 года, служил при Оренбургской пограничной комиссии, откуда (в 1861 г.) был перемещен в Казанский университет профессором турецко-татарского языка; восточные языки Ильминский читал и в Казанской духовной академии в 1860-1870 годах.

С 1870 года стал членом-корреспондентом Санкт-Петербургской Академии наук. В 1872 году был назначен директором Казанской инородческой учительской семинарии и занимал эту должность до конца жизни, всецело посвятив себя просвещению инородцев Российской Империи.

Не ограничиваясь кабинетной работой, Николай Иванович стремился к изучению татарского языка "из первых уст". Для этого он одно время жил в Татарской слободе и посещал занятия в медресе. По поручению архиепископа Казанского Григория (Постникова) много ездил по селениям Казанской губернии; в этих путешествиях он столкнулся с бедственным положением, в котором находилось миссионерство среди народов Казанского края. Многие среди коренных жителей Среднего Поволжья: чуваши, мари, удмурты и часть татар, уже давно считались православными, но будучи оставлены без надлежащего пастырского окормления, целыми деревнями возвращались в ислам. Не способствовало утверждению татар в Православии и совершенное невнимание к их школьному просвещению; и Ильминский взялся изменить дело. Его общительный характер, знание языка и способность притягивать людей, расположила к нему недоверчивых к чужакам кряшен (т. н. "старокрещенных" татар). Из этого живого общения, в те годы родились идеи, сыгравшие важнейшую роль в христианской жизни Поволжских народов.

Так, например, Ильминский совершенно отказался от использования татарского книжного языка с арабской графикой, как непонятного жителям глухих деревень. Книги Священного Писания и молитвословия он перелагал на разговорный кряшенский диалект и использовал при этом русский алфавит. Помощником и сотрудником Ильминского в освоении этого диалекта стал Василий Тимофеев, крещенный татарин, искренне уверовавший в Евангелие и желавший помочь делу просвещения своего народа.

Лучшие учителя нерусских народных школ, по Ильминскому, — люди одной национальности с учениками; а от русских учителей он требовал знания родного языка учащихся, использования его в учебно-воспитательной работе. Вскоре Казанская крешено-татарская школа стала образцом, по которому стали создаваться подобные школы в других местах Казанской губернии и за ее пределами. При участии Н. И. Ильминского открылись: Уфимско-Оренбургская татаро-башкирская, Бирская марийско-чувашская, Орско-Оренбургская казахская учительские школы.

Николай Иванович был одним из основателей миссионерского Братства святителя Гурия, открывшегося в Казани в 1867 году и возглавил его Переводческую комиссию. Он делал переводы уже не только на татарский, но и на чувашский, марийский, удмуртский и другие языки, которые осваивал с удивительной быстротой.

За неустанной работой его застала последняя болезнь - рак желудка. 27 декабря 1891 года Николай Иванович Ильминский, приобщившись Святых Таин, тихо скончался. На его погребение собралось великое множество людей от уважаемых представителей духовенства и профессоров академии, сотни простых кряшен, благодарных человеку, через которого Господь открыл им Свое Евангелие. Апостол Поволжья был похоронен возле кладбищенской церкви Ярославских чудотворцев, и ныне тело его покоится там, в десятке метров от мощей первого просветителя Казани святителя Гурия. Богомольцы приходят к его могиле по сей день.