Про Іоанна Рильського в історичних джерелах згадується з X століття. Залишившись сиротою, Іоанн Рильський пас худобу в чужих людей. Одного разу багатий селянин побив його за те, що загубилися корова з телям. Хлопчик плакав і молився, щоб Бог допоміг йому. Коли він знайшов пропажу, то в річці сильно піднялася вода. Іоанн помолився, поклав на воду свій верхній одяг, накреслив на ньому хрест, узяв на руки телятко (корова попливла сама) і пройшов з ним на інший берег. Багач, що сховався в лісі, вжахнувся коли побачив таке чудо, і щедро нагородив хлопчика.
Неясно, коли і де прийняв чернецтво майбутній святий. Далі про Іоанна згадується вже як про пустельника, який жив високо в скелях і харчувався дикими рослинами. Іоанн ховався від людей, щоб бути наодинці з Богом, це був подвижник традиції ісихазму, для якого головним була серцева молитва. Житіє згадує про його невпинний плач і глибоке смирення.
Люди дізналися про святого і стали приводити до нього хворих і одержимих, і преподобний Іоанн зціляв їх. Пізніше пустельник прийняв іноків, які влаштували монастир з храмом у печері, де спочатку жив преподобний Іоанн. Він виростив багатьох учнів і за п'ять років до кончини написав «Заповіт до учнів», який свідчить про глибокий богословський розум і кругозір автора.
Печера, де жив преподобний Іоанн збереглася і відкрита для паломників. Вона має дуже вузький вхід, і вважається, що пройти в неї може тільки той, хто покаявся у своїх гріхах.
Нетлінні мощі преподобного Іоанна пізніше з печери перенесли в Рильський монастир (Болгарія). Сьогодні вони покояться в присвяченій йому каплиці. Раку з мощами відкривають кілька разів на день - у монастирі раді шануванню улюбленого святого і бажанням йому помолитися.
Тропарь
Покаяния основание, прописание умиления, образ утешения, духовнаго совершения, равноангельское житие твое бысть, преподобне. У молитвах убо и пощениих и в слезах пребывавый, отче Иоанне, моли Христа Бога о душах наших.