Ο όσιος Ιωάννης ο Καλυβίτης γεννήθηκε στην Κωνσταντινούπολη το 460 μ.Χ., όταν βασίλευε ο Λέων ο πρώτος. Ο πατέρας του Αγίου ήταν ο Ευτρόπιος, συγκλητικός στο αξίωμα και πολύ πλούσιος και η μητέρα του ήταν η Θεοδώρα. Και οι δύο γονείς χαρακτηρίζονταν για την ευσέβειά τους. Απέκτησαν τρία παιδιά εκ των οποίων το μικρότερο ήταν ο Ιωάννης. Από την παιδική του ηλικία φαινόταν διαφορετικός από τα αδέρφια του γιατί έδειχνε να μην τον απασχολεί η άνοδος σε κοσμικά αξιώματα, αλλά είχε ιδιαίτερη προσήλωση στον λόγο του Θεού και το ενδιαφέρον του στρεφόταν γύρω από τις ακολουθίες της Εκκλησίας.

Για αυτό το λόγο ζήτησε από τους γονείς του να του δωρίσουν ένα ευαγγέλιο για να μπορεί να εντρυφεί στις σελίδες του και να αναπαύεται στην αλήθεια που αυτό θα του προσέφερε. Πράγματι οι γονείς του υπάκουσαν στο θέλημα του παιδιού τους και μετά από αρκετό χρονικό διάστημα το ευαγγέλιο ήταν έτοιμο και ο Ιωάννης μπορούσε να το έχει διαρκώς κοντά του.

Εκείνη την περίοδο η οικογένειά του φιλοξενούσε έναν μοναχό από την μονή των Ακοιμήτων, ο οποίος πραγματοποιούσε προσκύνημα στους αγίους τόπους. Ο μοναχός αυτός έγινε πόλος έλξης για το μικρό Ιωάννη, ο οποίος δεν χόρταινε να ακούει για τον τρόπο με τον οποίο οι μοναχοί στο συγκεκριμένο μοναστήρι ζούσαν, ασκούνταν στην προσευχή και αγωνίζονταν να θεωθούν. Ο Ιωάννης παρακάλεσε το μοναχό όταν θα επέστρεφε από το προσκύνημά του να τον πάρει μαζί του στο μοναστήρι και να ασκηθεί εκεί ως μοναχός.

Πράγματι όταν επέστρεψε ο μοναχός πήρε τον Ιωάννη κοντά του χωρίς όμως οι γονείς του να το γνωρίζουν γιατί ο Ιωάννης ήξερε ότι θα αντιδρούσαν και δεν θα του το επέτρεπαν.

Όταν έφθασαν στο μοναστήρι τον υποδέχθηκε ο ηγούμενος, ο Άγιος Μάρκελλος, ο οποίος βλέποντας την έντονη επιθυμία του να μονάσει τον έκειρε μοναχό και του ανέθεσε τον ανάλογο κανόνα. Ο Ιωάννης σε σύντομο χρονικό διάστημα ξεπέρασε με την άσκηση ακόμη και τους γεροντότερους μοναχούς στην ηλικία και κατέστη το φωτεινό παράδειγμα όλων.

Οι γονείς του όμως μένοντας χωρίς τον Ιωάννη θεώρησαν ότι κάτι κακό συνέβη στο παιδί τους. Έψαξαν όπου θεωρούσαν ότι θα μπορούσε να βρίσκεται. Και τελικά έμειναν με την εντύπωση ότι θα ήταν νεκρό.

Αφού πέρασαν κάποια χρόνια, ο Ιωάννης ζητά και λαμβάνει την ευλογία του πνευματικού του να επιστρέψει στην οικία του και εκεί να ολοκληρώσει τον αγώνα του. Πράγματι ο ηγούμενος της μονής των Ακοιμήτων συμφωνεί και του επιτρέπει την επιστροφή.

Όταν ο Ιωάννης φθάνει στο σπίτι του κανείς δεν τον αναγνωρίζει, ούτε οι ίδιοι οι γονείς του. Η μητέρα του μάλιστα δεν άντεχε ούτε την όψη του να βλέπει γιατί ήταν σκελετωμένος και ταλαιπωρημένος. Ο Ευτρόπιος του πρότεινε να μείνει στο δωμάτιο του παιδιού του που πίστευε ότι είχε πεθάνει. Όμως ο Ιωάννης τον παρακάλεσε να του φτιάξουν μία καλύβα στην άκρη του κήπου τους και έτσι έλαβε την ονομασία του Καλυβίτη.

Σε αυτήν την καλύβα έμεινε τρία χρόνια και όταν πληροφορήθηκε την επικείμενη αναχώρησή του από αυτήν την ζωή ζήτησε να δει τους γονείς του. Τότε τους έδωσε το ευαγγέλιο που του είχαν χαρίσει χρόνια πριν και τους αποκάλυψε την ταυτότητά του. Τους ζήτησε να μην κλαίνε γιατί ο ίδιος είχε βρει παρρησία στον Θεό και τους παρακάλεσε να τον κηδεύσουν με τα μοναχικά του ενδύματα.