Estuvo a punto de vengar con sus propias manos al asesino de su hermano Hugo, pero antes de la ejecución, Juan recordó súbitamente que Cristo había orado por sus enemigos en la cruz; movido por aquél recuerdo, envainó la espada.
En el monasterio de San Miniato tuvo una visión: la imágen de Cristo inclinó la cabeza hacia el joven, como si quisiese darle a entender que había aceptado su sacrificio y su sincero arrepentimiento. Desde aquél momento la vida de Juan Gualberto cambió radicalmente. La gracia se apoderó de él de tal manera que fue a pedir al abad que le admitiese en la vida religiosa. A la muerte del abad de San Miniato, Juan abandonó el convento con un compañero y partió en busca de un lugar más retirado. Durante una peregrinación que hizo al santuario de Camáldoli, en un lugar llamado Vallis Umbrosa fundó una orden nueva en la que se observaba la Regla de San Benito. Juan modificó un tanto la observancia de esta regla, ya que suprimió el trabajo manual para los monjes de coro e introdujo a los "conversi" o hermanos legos. Probablemente el monasterio de Valleumbrosa fue el primero que tuvo hermanos legos.
Juan Gualberto temía tanto el extremo de la laxitud como el de la dureza. Velaba particularmente por la pobreza y austeridad. Sin embargo, durante una época de hambre, socorrió milagrosamente a las multitudes que acudían a Rozzuolo. Dios le concedió el don de la profecía y de obrar milagros, ya que curó a varios enfermos.
Murió el 12 de julio de 1073. El Papa Celestino le canonizó en 1193.