Rond 1574 werden de zieken van de wezen gescheiden. De zieken vonden een onderkomen ze in het gebouw van het Heilige Geest- en pesthuis ter Grote Kerk op de hoek van de Vriesestraat en de Vest, op de plek waar nu het Stadsklooster staat. Het huidige gebouw is echter pas in 1725 gebouwd, nadat het eerdere Leprooshuis was gesloopt. Het bood tijdens zijn bestaan onderdak aan weeskinderen, bejaarden, ‘geestesgestoorden’, ‘drankzuchtigen’, pestlijders en leprozen.
Naar aanleiding van een vernietigend rapport uit 1759 werd besloten het Leprooshuis op te heffen, de zieken en gevangenen over te brengen naar meer geschikte instellingen of uit te besteden aan particulieren en de krankzinnigen op te nemen in een op te richten krankzinnigengesticht. In 1762 was de overplaatsing voltooid.
Een aantal van hen die voor eigen rekening verzorgd werden, bleef echter nog enige jaren in het Leprooshuis wonen. Het Leprooshuis diende daarna nog als logement, militair hospitaal, marechausseekazerne en dependance van het Gemeentearchief. Tot 2021 was het een verzamelgebouw voor woningen en bedrijfspanden en sinds 1 november kunnen bezoekers er terecht voor een bezoek.
Bekijk hieronder ook de reportage die RTV Dordrecht maakte over de nieuwe bestemming voor het Leprooshuis aan de Vriesestraat.