Monsenhor José Silvério Horta nasceu no dia 2 de junho de 1859, ma Fazenda Monte Alegre, situada no município de Mariana, em Minas Gerais.
Seus pais foram José Caetano Ramos e Ana Jacinta de Figueiredo Horta.
Em Mariana, fez os estudos das Humanidades, de Filosofia, de Cânones e de Teologia, tendo como melhor mestre Dom Antônio Correa de Sá e Benevides, que parecia adivinhar o belo futuro que estava reservado para seu discípulo.
Tinha 27 anos quando o citado Bispo da Diocese, passando por Macaúbas-MG, em visita pastoral, conferiu-lhe o presbiterado, a 3 de junho de 1886, na capela do Convento da Ordem Franciscana Concepcionista.
A Princesa Imperial Regente, Isabel, pela carta de 13 de outubro de 1887, apresentou-o como Cônego do Cabido da Sé primacial de Minas Gerais.
Secretário do Bispado, entre 1898 e 1928, ocupou interinamente o lugar de Vigário Geral entre 1919 e 1923.
Considerando seus grandes e numerosos méritos, a Santa Sé houve por bem honrá-lo com os títulos de Camareiro Secreto e Prelado Doméstico do Papa.
Sobre ele, escreveu o historiador Cônego Raymundo Trindade: “Monsenhor Horta foi o nome mais largamente conhecido da Diocese e por todo o Estado de Minas Gerais. Proverbial e comovedor o seu amor pelo pobre, sendo ele pobre e dos mais pobres. Foi o mais humilde dos eclesiásticos do seu tempo, ao mesmo tempo que foi, entre eles, o mais insigne do Arcebispado.
Somente dispunha de si e do seu tempo para se tornar útil aos outros. De tal sorte se impôs por suas heroicas virtudes, que a bênção deveras prodigiosa, era solicitada, diariamente, por levas e levas de romeiros que, para recebê-la, vinham dos pontos mais recuados do Brasil. A todos atendia com bondade, paciência e humildade sobre-humana”.
Franzino, a sua constituição física revelava que a sua saúde não era das melhores. Mas sua fortaleza interior mostrava o vigor do seu espírito sempre ativo e generoso na prática do bem.
Vestia-se pobremente, com a singeleza que não dispensa o asseio. Quanto a esse particular, parecia com Agostinho, que se envergonhava de andar luxuosamente vestido com roupas ricas.
A sua pobreza voluntária não era confundida com a pobreza suportada. Sentia-se bem nos rigores dela, comovendo todos do seu tempo.
A caridade foi virtude que sublimou.
Em muitos lares fez com que a paz e o amor voltassem a reinar. Promoveu a reconciliação dos inimigos que pareciam rancorosos. Consolou muitos aflitos que viviam feridos na carne e na consciência. Enxugou muitas lágrimas. Atendeu os enfermos que chegavam à sua casa procurando cura dos males do corpo e do espírito. Muitas almas endurecidas e fechadas pelas decepções da vida ele abriu para o amor a Deus, como o sol faz abrir a corola da flor que a noite fechou.
Para todos, o que havia de mais reconfortante e tranquilizador era encontrar a sua ternura, a sua piedade e a sua compaixão. Todos sabiam que podiam contar com ele, pois tinham bom lugar no seu coração. Sobretudo os que padeciam de miséria, que é a falta do necessário.
Via no pobre faminto, no necessitado de roupa, de pão e de teto, a verdadeira imagem de Cristo, imagem viva que padece sentindo frio, estando desabrigado, não tendo o que comer e sofrendo o abandono e o desprezo de muitos cristãos (conforme Evangelho de Matheus, no capítulo XXV, versículo 31 a 46).
Quem o via pela primeira vez sentia-se perto de um S. Luiz Gonzaga ou de um Vicente de Paulo, não somente pela paciência de suas palavras, mas também pela suavidade encantadora com que eram proferidas, envolvidas na piedade e na fé. Possuía também uma erudição pouco comum, sendo profundo conhecedor do latim, português e outras línguas. Inúmeras foram as curas prodigiosas pela água que ele abençoava. Vários foram os processos e desequilibrados que socorria, incluindo as entidades que se manifestavam pelos doentes. Pobre, extremamente pobre, sua vida foi o reflexo de sua alma. Praticava a caridade sem olhar a quem beneficiava, e era tão estimado que, por onde passava, não tinha um momento de descanso.
Levantava-se cedo, regularmente às seis da manhã. Orava por uma hora. Às sete celebrava a missa, a qual gastava quase uma hora, nos últimos anos, por já estar abatido pela doença e pela vista fraca. Quando terminava a cerimônia, consagrava-se à atenção aos pobres, doando-lhes alimento e consolo. Nessa atividade, esquecia-se muitas vezes da refeição matinal. Depois do almoço(sempre frugal), descansava 15 minutos e dedicava-se a responder as cartas (com pedidos) que lhe chegavam de várias partes do país. Terminado este trabalho, entrava em oração para depois retornar ao contato com os pobres. Esse atendimento ia até as 21 horas, com os corredores e salas de sua residência cheia de pessoas esperando pela sua atenção.
Se a vida de Monsenhor Horta foi de um justo, o seu falecimento o foi também. Não se sentido bem na tarde de 29 de março, solicitou que lhe chamassem o seu confessor, a quem fez compungidamente a confissão, pedindo-lhe também que lhe administrassem a extrema-unção.
Às nove horas do dia 30 de março de 1933 voltaram os sintomas alarmantes que o fizeram outra vez pedir a presença do seu confessor que, atendendo-o imediatamente, o encontrou em aflição e, à sua entrada no quarto, Monsenhor Horta pôs-se de joelhos sobre o leito dizendo-lhe comovido: “Peço-lhe a caridade de me absolver de todos os pecados da minha vida passada”, tendo-lhe sido as últimas palavras que expressou.