Gonzalo de Yepes pertenecía a una buena familia de Toledo, pero como se casó con una joven de clase "inferior", fue desheredado por sus padres y tuvo que ganarse la vida como tejedor de seda. A la muerte de Gonzalo, su esposa, Catalina Alvarez, quedó en la miseria y con tres hijos. Jitan, que era el menor, nació en Fontiveros, en Castilla la vieja, en 1542.
Asistió a una escuela de niños pobres en Medina del Campo y empezó a aprender el oficio de tejedor, pero como no tenía aptitudes, entró más tarde a trabajar como criado del director del hospital de Medina del Campo. Así pasó siete años. Al mismo tiempo que continuaba sus estudios en el colegio de los jesuitas, practicaba rudas mortificaciones corporales.
A los veintiún años, tomó el hábito en el convento de los carmelitas de Medina del Campo. Su nombre de religión era Juan de San Matías. Después de hacer la profesión, pidió y obtuvo permiso para observar la regla original del Carmelo, sin hacer uso de las mitigaciones (permisos para relajar las reglas) que varios Pontífices habían aprobado y eran entonces cosa común en todos los conventos.
San Juan hubiese querido ser hermano lego, pero sus superiores no se lo permitieron. Tras haber hecho con éxito sus estudios de teología, fue ordenado sacerdote en 1567. Las gracias que recibió con el sacerdocio le encendieron en deseos de mayor retiro, de suerte que llegó a pensar en ingresar en la Cartuja.