Pero él sentía una voz en su interior que le decía: "¡Váyase a Roma! ¡Váyase a Roma!" Y en sueños veía multitudes de niños desamparados que le suplicaban se dedicara a educarlos. Así que renunciado a sus altos puestos, y repartiendo entre los pobres las grandes riquezas que había heredado de sus padres, se dirigió a pie a la Ciudad Eterna.
En Roma se hizo socio de una cofradía que se dedicaba a enseñar catecismo a los niños y se dio cuenta de que la ignorancia religiosa era total y que no bastaba con enseñar religión los domingos, sino que era necesario fundar escuelas para que los jovencitos tuvieran educación e instrucción durante la semana. En ese tiempo los gobiernos no tenían ni escuelas ni colegios, y la juventud crecía sin instrucción. Se reunió con unos sacerdotes amigos y fundó entonces su primera escuela en Roma. Su fin era instruir en la religión y formar buenos ciudadanos. Pronto tuvieron ya cien alumnos. Tenían que conseguir profesores y edificio, porque los gobiernos no costeaban nada de eso. Pronto fueron llegando nuevos colaboradores y los alumnos fueron ya setecientos. Más tarde eran ya mil los jóvenes que estudiaban en las escuelas dirigidas por José y su amigos. En sus ratos libres se dedicaban a socorrer enfermos y necesitados, especialmente cuando llegaban la peste o las inundaciones. Con su amigo San Camilo eran incansables en ayudar.