En abril de 1549, partió de la India, acompañado por otro sacerdote de la Compañía de Jesús y un hermano coadjutor, por Anjiro (que había tomado el nombre de Pablo) y por otros dos japoneses que se habían convertido al cristianismo. El día de la fiesta de la Asunción desembarcaron en Kagoshima, Japón. En Kagoshima, los habitantes los dejaron en paz. San Francisco Javier se dedicó a aprender el japonés lo cual no era nada fácil para él. Sin embargo logró traducir al japonés una exposición muy sencilla de la doctrina cristiana que repetía a cuantos se mostraban dispuestos a escucharle. Al cabo de un año de trabajo, había logrado unas cien conversiones. Ello provocó las sospechas de las autoridades, las cuales le prohibieron que siguiese predicando. Entonces, el santo decidió trasladarse a otro sitio con sus compañeros, dejando a Pablo al cuidado de los neófitos. Antes de partir de Kagashima, fue a visitar la fortaleza de Ichku; ahí convirtió a la esposa del jefe de la fortaleza, al criado de ésta, a algunas personas más y dejó la nueva cristiandad al cargo del criado. Diez años más tarde, Luis de Almeida, médico y hermano coadjutor de la Compañía de Jesús, encontró en pleno fervor a esa cristiandad aislada.
San Francisco Javier se trasladó a Hirado, al norte de Nagasaki. El gobernador de la ciudad acogió bien a los misioneros, de suerte que en unas cuantas semanas pudieron hacer más de lo que había hecho en Kagoshima en un año. El santo dejó esa cristiandad a cargo del P. de Torres y partió con el hermano Fernández y un japonés a Yamaguchi, en Honshu. Ahí predicó en las calles y delante del gobernador; pero no tuvo ningún éxito y las gentes de la región se burlaron de él.
Javier quería ir a Miyako (Kioto), que era entonces la principal ciudad del Japón. Después de trabajar un mes en Yamaguchi, donde apenas cosechó algo más que afrentas, prosiguió el viaje con sus dos compañeros. Como el mes de diciembre estaba ya muy avanzado, los aguaceros, la nieve y los abruptos caminos hicieron el viaje muy penoso. En febrero, llegaron los misioneros a Miyako. Ahí se enteró el santo de que para tener una entrevista con el mikado necesitaba pagar una suma mucho mayor a la que poseía. Por otra parte, como una guerra civil hacía estragos en la ciudad, San Francisco Javier comprendió que, por el momento, no podía hacer ningún bien ahí, por lo cual volvió a Yamaguchi, quince días después. Viendo que la pobreza de su persona se convertía en un obstáculo para llegar al gobernador, se vistió con gran pompa y fue al gobernador escoltado por sus compañeros, con toda la regalía de su título de embajador de Portugal. Le entregó las cartas que le habían dado para el caso las autoridades de la India y le regaló una caja de música, un reloj y unos anteojos, entre otras cosas. El gobernador quedó encantado con esos regalos, dio al santo permiso de predicar y le cedió un antiguo templo budista para que se alojase mientras estuviese ahí. Habiendo obtenido así la protección oficial, San Francisco Javier predicó con gran éxito y bautizó a muchas personas.
Habiéndose enterado de que un navío portugués había atracado en Funai (Oita) de Kiushu, el santo partió para allá y resolvió partir en ese barco a visitar sus comunidades cristianas en la India antes de hacer el deseado viaje a China. Los cristianos del Japón, que eran ya unos 2000 quedaron al cuidado del P. Cosme de Torres y del hermano Fernández. A pesar de las dificultades que sufrió, San Francisco Javier opinaba que "no hay entre los infieles ningún pueblo más bien dotado que el japonés".