Преподобний Іоанн Мовчальник народився близько 454 року в місті Нікополі Вірменському в сім'ї воєначальника. Хлопчик рано почав вивчати Святе Писання і всім серцем любив усамітнення й молитву.
Після смерті батьків юнакові дісталася спадщина, яку він витратив, щоб побудувати церкву в Ім'я Пресвятої Богородиці.
З вісімнадцяти років Іоанн разом з десятьма ченцями жив при церкві в пості і молитві. На прохання громадян міста Колонії, митрополит Севастійський висвятив двадцяти восьмирічного Іоанна в єпископа Колонійської Церкви.
Преподобний не змінив свого суворо аскетичного способу життя, навіть після того, як прийняв церковне правління.
На десятому році єпископату Іоанна владу у Вірменії прийняв Пазинік, чоловік сестри святителя - Марії. Новий правитель став владно втручатися в духовні і церковні справи. У Церкві почалися проблеми. Тоді святий Іоанн відправився в Константинополь і через архієпископа просив імператора Зенона захистити Вірменську Церкву від грубих посягань.
Іоанна вимотували питання світського характеру, тому він таємно залишив єпископію і відплив у Єрусалим.
Зі сльозами він просив Бога вказати місце, де б він міг жити і рятуватися. Раптово, йому з'явилася яскрава зірка, яка привела Іоанна в Лавру преподобного Сави.
Святитель приховав своє єпископське достоїнство і був прийнятий до числа братії простим послушником. Більше чотирьох років він виконував найважчі доручення на монастирському будівництві.
Зрештою, святителю довелося відкрити свою таємницю Патріарху Єрусалимському Іллі. З благословення преподобний Іоанн прийняв обітницю мовчання. Чотири роки святий Іоанн провів у келії, де нікого не приймав, і навіть не виходив у церкву.
Незабаром преподобний Іоанн залишив лавру і пішов у пустелю, де провів більше дев'яти років, харчуючись одними травами. Тут він пережив спустошливий набіг арабів і не загинув лише тому, що Господь послав йому захисника - лютого лева, при вигляді якого, вороги в страсі розбігалися.
Коли святий ігумен Сава повернувся в монастир, він умовив преподобного Іоанна залишити пустелю і знову оселитися серед братії. Незабаром Господь чудесним чином відкрив всім насельників Лаври, що Іоанн був єпископом.
Преподобний Іоанн Мовчальник провів у Лаврі преподобного Сави більше шістдесяти років. За його молитвами відбувалося багато чудес: таємні думки людей були для святителя явними, він зціляв хворих і біснуватих.
У віці 104 років преподобний Іоанн Мовчальник з миром відійшов до Господа.