Poco después, los vecinos del lugar empezaron de nuevo a interesarse por la imagen. Los días viernes, por ejemplo, se cantaba allí el "Miserere" con el acompañamiento de una arpa. También se celebraba la fiesta de la Cruz, como sucede hasta el día de hoy.
Estos cultos llegaron a oídos del conde de Lemos, Virrey de Lima, quien visitó el lugar en compañía de su esposa Ana de Borja. Ambos quedaron muy impresionados y decidieron elevar una ermita provisional.
Cumpliendo con lo dispuesto por el virrey, se inició la construcción de una cerca de adobes, se techó el galpón y se levantó un altar. Culminados los trabajos dentro de la más absoluta sencillez, decidieron celebrar en el lugar una misa el 14 de septiembre de 1671, fecha en que se celebra la Exaltación de la Cruz, como una forma de desagraviar al Cristo de Pachacamilla, por las ofensas inferidas a su imagen.
Al parecer las imágenes de la Virgen María y la de San Juan pintados a los lados del Señor datan de ese tiempo, así como el Padre Eterno y el símbolo del Espíritu Santo, que el Conde de Lemos consideró que debían figurar.
De esta época datan también otras reformas importantes. Los cimientos del muro eran muy pobres, y en realidad, resultaba milagroso que hubiera resistido tanto tiempo. Peritos a quienes se consultó aconsejaron elevar el muro mediante palancas de dotarlos de buenos cimientos. El virrey ordenó que se hiciese lo indicado, y , si bien todo se hizo con sumo cuidado, las figuras laterales sufrieron, mas no así el Cristo crucificado.
Discreto y provisional debió ser el templo en sus inicios. El terremoto de 1746 que todo lo afectó, salvo la imagen del Señor de los Milagros, propició la reconstrucción de Lima, reconstrucción que no alcanzó al Templo de las Nazarenas. Será veinte años más tarde que el Virrey D. Manuel Amat y Junient impulsó la obra. Primero, solicitando limosnas, luego examinando planos y velando porque el templo quede a la perfección, para el Patrón de la ciudad. El 20 de enero de 1771, en solemne acto, se le daba al Señor de los Milagros, un templo digno.