В июле 1844 года больничный храм освятили. В конце XIX века он обветшал и стали появляться трещины в сводах. Чтобы возвести новую церковь, перед властями ходатайствовали врачи и земство. Храму выделили отдельное здание со свободным входом для богомольцев. Постройка здания осуществлялась на основе проекта губернского тюремного замка архитектора А. Захарова, изменения в них внес инженер А. Бетанкур.
Церковь занимала центральную часть арестантского корпуса, в подвале под ней находились помещения, предназначенные для секретных арестантов.
В 1855 году церковь расширили по проектам архитектора А. Турмышева: пристроен дополнительный объем алтарной апсиды, а здание увенчано позолоченной главой и крестом.
В августе 1894 года состоялась закладка церкви епископом Владимиром. Кирпичную кладку храма закончили в 1895 году, в 1896 году храм был освящен. Чин великого освящения совершил епископ Арзамасский и Нижегородский Георгий 24 сентября 2005-го года.
Отзывы о церкви иконы Божией Матери «Всех Скорбящих Радость»