Durante la Primera Guerra Mundial, ejerció primero como sargento médico y más tarde como capellán militar. En 1921, fue llamado desde Roma por el Papa Benedicto XV para ocupar el cargo de Presidente para Italia del Consejo Central de la Obra Pontificia de la Propagación de la Fe.
El papa Pío XI lo designó simultáneamente Arzobispo de Areopoli y enviado oficial para Bulgaria el 3 de marzo de 1925. El 19 de marzo de 1925 Angelo Giuseppe Roncalli fue consagrado Arzobispo titular de Areopoli. Eligió como su lema episcopal "Obedientia et Pax". En Bulgaria, realizó su labor apostólica visitando las comunidades católicas y estableciendo relaciones de respeto y estima con otras comunidades cristianas, en especial de la Iglesia Ortodoxa. En una ocasión en Bulgaria fue a visitar a unos heridos internados en un hospital católico que trataba gratuitamente a todas las personas, independientemente de su religión. Estos heridos fueron víctimas de un atentado contra el rey Boris III en una catedral ortodoxa de Sofía, siendo ortodoxos que frecuentaban su lugar de culto. El rey búlgaro quedó tan impresionado que lo recibió en audiencia privada, siendo un acto inédito porque los visitadores apostólicos no gozaban de ningún estatuto diplomático y las relaciones entre la minoría católica y la mayoría ortodoxa eran muy tensas. Hechos como este constituyeron las bases de la futura delegación apostólica. En efecto, su labor fue tan fructífera que se lo designó delegado apostólico para Bulgaria el 16 de octubre de 1931.
El 30 de noviembre de 1934 fue designado Arzobispo títular de Mesembria, y el 12 de enero de 1935 fue nombrado delegado apostólico para Turquía (vicario apostólico de Estambul, antigua Vicaría Apostólica de Constantinopla). El mismo día se lo designó Delegado Apostólico para Grecia, atendiendo desde Estambul los asuntos relativos a ambos países.
Su intervención para socorrer a miles de judíos de la persecución nazi mientras servía como Delegado Apostólico del Vaticano en Turquía durante la Segunda Guerra Mundial fue proverbial.
El 23 de diciembre de 1944, el Papa Pío XII lo nombró nuncio apostólico de Francia. Contribuyó a normalizar la organización eclesiástica en Francia, desestabilizada por los numerosos obispos que habían colaborado con los alemanes. Gracias a su cortesía, su sencillez, su buen humor y su amabilidad pudo resolver los problemas y conquistar el corazón de los franceses y de todo el Cuerpo Diplomático.