A igrejinha se manteve dessa forma até o ano de 1728 quando os familiares do Capitão Baltazar entregou aos cuidados de um grupo de fiéis a ermida, então, a confraria organizava-se sobre o nome de Venerável Irmandade de Nossa Senhora da Penha de França. Consta uma provisão de confirmação de compromisso da Venerável Irmandade na Chancelaria de D. Maria I em 29 de janeiro de 1783.
Ao assumir a ermida em louvou a Nossa Senhora da Penha a Venerável Irmandade promove a primeira reforma “...acrescentando um arco cruzeiro para o lado da frente que acha para o mar 45 palmos de comprimento e 22 de largura, ficando desde então esse espaço considerado o corpo da igreja, contendo púlpito e coro que ficaria por cima da porta principal. Do lado direito da ermida existia uma meia água com 28 palmos de comprimento e 15 de largura que seria a sacristia tendo do lado esquerdo uma pequena porta e escada que dava ingresso ao púlpito..... campanário que tinha do lado da frente da igreja com 2 pequenos sinos”...
Na frente da Igreja é demarcado o local do cruzeiro e colocado uma cruz de madeira.
No ano de 1870 a Irmandade resolve demolir a ermida e construir uma nova Igreja. Houve um planejamento para não interromper as celebrações religiosas. Foi contratado cavouqueiros para planar o cume da montanha. Quando realizavam o trabalho encontraram na antiga sacristia duas sepulturas com restos mortais do primeiro padre que serviu a Venerável Irmandade o Ermitão Antonio Ferreira de Souza, falecido em 1782. Consta que o padre agenciou esmolas para compra de 2 datas de terras em 1778 aumentando o patrimônio da Irmandade, e também, o restos mortais do Padre Manuel da Silveira Peixoto, português que serviu como capelão de 1803 até sua morte em 1839. De forma respeitosa foram transladados para lugar reservado na frente da igreja.
No dia 1 de junho de 1871 assentou-se a soleira da porta principal onde está colocado caixa com jornais da época, moedas de ouro, prata e cobre e assinatura de todos os irmãos da Venerável Irmandade e demais autoridades, sendo a obra concluída em 1872 .
E assim, a Igreja se manteve em sua estrutura, sofrendo pequenas intervenções no interior. A última grande reforma acontece no ano de 1900 e concluída em 1902. O então capelão Padre Ricardo Silva, contribuiu muito para o embelezamento da Igreja. Com a construção das duas torres
que lhe deu um ar mais pomposo, e as pirâmides em mármore branco e rosado finalizado campanário, obra do mestre Engenheiro Luiz Moraes Junior.
No frontão três esculturas alegóricas representando as Virtudes Teologais, a Fé, Esperança e Caridade, obra do escultor Hugo Wagner, mármores e azuleijaria de Amaral Guimarães & Cia, e na parte da arquitetura decorativa o trabalho de estucaria, ficou a cargo do artista Henrique Lavoie.
No cruzeiro a cruz de madeira foi substituída por uma de pedra de Lioz. Em cada lado da muralha foi colocada as urnas funerárias dos capelães encontrados na antiga sacristia.
Na década de 20 a Igreja sofre, assim, diversos acréscimos como a construção do novo batistério, gabinete do capelão, confessionário, novo altar-mor, entre outras reformas internas que modificaram a sua forma primitiva perdendo sua referência e expressão luso-brasileira.
A planta da igreja de configuração retangular, se define com: acesso principal, nave única, altar mor, púlpito ricamente entalhado, lustre de cristal tcheco, paredes almofadadas em mármore, tribunas, coro, batistério, sacristia, confessionário, reservado do capelão, e demais dependências. O antigo altar mor com a imagem de Nossa Senhora do Rosário foi colocado na sacristia onde permanece até os dias de hoje. A imagem de Nossa Senhora do Rosário e a de Nossa Senhora da Penha são originais do século XVII. E estão permanentemente exposta aos fiéis.
A Venerável Irmandade, sociedade filantrópica, sempre trabalhou para o desenvolvimento religioso e educacional da região da Penha. No ano de 1873 cria o colégio masculino destinado à população pobre da região e no de 1920 regulamenta e inaugura o colégio feminino. Na atualidade, funciona como uma instituição de ensino mista tradicional católica.
Em 24 de setembro de 1924, na torre da Igreja foi montado um carrilhão adquirido na exposição Comemorativa do Centenário da Independência do Brasil, fabricado em Portugal pesava quase 1900 quilos e possuía 18 sinos. A inauguração e benção aconteceu em 27 de setembro de 1925, celebrada por Dom Henrique Gasparri, Núncio Apostólico no Brasil e contou com a presença de várias autoridades. Hoje, fragmentado, o carrilhão encontra-se em exposição no Museu da Venerável Irmandade de Nossa Senhora da Penha de França.
Registramos o desejo da Venerável Irmandade e de seu Capelão Padre Ricardo Silva a obtenção do título de Santuário para a Igreja da Penha. Todo processo teve início no ano 1905 como consta em atas e documentos registrado nos livros administrativos da Venerável Irmandade. O desejado e sonhado título é consagrado em 15 de novembro de 1966 por Dom Jaime de Barros Câmara, Cardeal da Santa Igreja Romana na Cidade de São Sebastião do Rio de Janeiro.(Protocolo 9563 livro 02). Antes porém, o Papa Pio XI agrega a Igreja de Nossa Senhora da Penha de França à Sacrossanta e Patriarca Basílica de Santa Maria Maior de Roma, em 15 de julho de 1935.
Em visita ao Brasil o Papa João Paulo II, avista a Igrejinha do alto do penhasco e conhecendo sua rica história pede ao Cardeal Dom Eugenio de Araújo Sales, Arcebispo da cidade de São Sebastião do Rio de Janeiro para elevar o Santuário à categoria de Santuário Mariano Arquidiocesano, em 31 de maio de 1981. A beleza e a importância religiosa, social e cultural do Santuário o coloca na categoria de monumento religioso, histórico e cultural da cidade de São Sebastião do Rio de Janeiro, o que lhe conferiu o tombamento em 21 de junho de 1990 (processo 9413 06/1990).
Fonte: Livro de tombamento Prefeitura Rio de Janeiro - 1990
O Museu da Comunicação e Costumes é uma associação museológica, cultural e educacional com atuação no campo da comunicação, história e costumes. Suas atividades têm como referência seu acervo, instalado na Casa de Cultura José Bonifácio na Ilha de Paquetá. O museu possui uma magnífica coleção que reúne mais de doze mil itens dos séculos XVII ao XX. 
