Todo lo que se sabe a ciencia cierta acerca de él se deriva de los Evangelios canónicos. Nació en Arimatea ---de ahí su apellido--- "una ciudad de Judea" (Lc. 23,51), que es muy probable idéntica a Ramá, el lugar de nacimiento del profeta Samuel, aunque varios estudiosos prefieren identificarla con la ciudad de Ramleh. Él era un israelita rico (Mt. 27,57), "un hombre bueno y justo" (Lc. 23,50), "que también esperaba el Reino de Dios" (Mc. 15,43). San Lucas y San Marcos lo llaman también a bouleutes, literalmente “un senador”, con lo cual se denota un miembro del Sanedrín o consejo supremo de los judíos. Era un discípulo de Jesús, probablemente desde la primera predicación de Cristo en Judea (Jn. 2,23), pero él no se declaraba como tal "por miedo a los judíos" (Jn. 19,38). Debido a esta lealtad secreta a Jesús, no consintió en que el Sanedrín le condenase (Lc. 23,51), y lo más probable es que estuvo ausente a la reunión que condenó a muerte a Jesús (Cf. Mc. 14,64).
La Crucifixión del Maestro avivó la fe y el amor de José, y le sugirió que debía tomar las medidas necesarias para el entierro de Cristo antes de que el sábado comenzara. Sin pensar, por tanto, en todo el peligro personal, un peligro que era realmente considerable dadas las circunstancias, que con valentía le pidió a Pilato el cuerpo de Jesús, y tuvo éxito en su petición (Mc. 15,43-45). Una vez en posesión de este tesoro sagrado, ---junto con Nicodemo, a quien su valor había envalentonado a lo mismo, y quien trajo especias abundantes--- envolvió el Cuerpo de Cristo en lino fino y bandas mortuorias, lo puso en su propia tumba, nueva y sin uso, sin embargo, y excavada en una roca en un jardín vecino, y se retiró después de rodar una gran piedra a la apertura del sepulcro (Mt. 27,59-60; Mc. 15,46; Lc. 23,53; Jn. 19,38-42). Así se cumplió la profecía de Isaías de que la tumba del Mesías sería con un hombre rico (Is. 53,9).
La Iglesia griega celebra la fiesta de José de Arimatea el 31 de julio, y la Iglesia Latina el 17 de marzo. Los detalles adicionales que se encuentran respecto a él en el apócrifo "Acta Pilati" no son dignos de credibilidad. Del mismo modo es fabuloso es la leyenda que habla de su llegada a la Galia en el año 63 d.C., y de allí a Gran Bretaña, donde se supone que fundó el primer oratorio cristiano en Glastonbury.