Het hoofdgebouw van het Gasthuis vormde in de middeleeuwen samen met de kerk, de brouwerij en de provenierswoningen het Gasthuis. Het werd gesticht kort na 1337 en was in het begin behalve voor oude gebrekkige mensen ook bestemd voor zieke of arme reizigers. Het hele complex bestond uit:

• Het Hoofdgebouw met de centrale keuken en de eetzaal.
• Het arme Gasthuis, bedoeld voor behoeftige ouderen, was tevens het onderkomen voor passanten, die nergens in de stad konden verblijven. In de beginperiode was de Gasthuiskerk waarschijnlijk de slaap- en ziekenzaal.
• De Gasthuiskerk kreeg later meer de functie van kapel, gewijd aan Sint Antonius, omdat het belangrijkste altaar aan Sint Antonius was gewijd.
• De Provenierswoningen (thans Gasthuisstraat 31-39). Zij die het zich konden veroorloven kochten zich in voor een provenierswoning zodat zij verzekerd waren van een goede verzorging op de oude dag. Hun bezittingen vervielen na hun overlijden aan het Gasthuis. Behalve huis­vesting voor de proveniers kregen ook de armen nog goederen in natura van het Gasthuis. In de winter werden – tot in de negentiende eeuw – brood en andere voedingsmiddelen uitgedeeld.
• Het Pesthuis, bedoeld voor mensen met een besmettelijke ziekte, lag buiten de stadsmuren aan het einde van de huidige Kraakselaan.
• De bierbrouwerij (thans Gasthuisstraat 13-17) van het Gasthuis was tot aan de 19^de eeuw een van de belangrijkste brouwerijen van de stad, waarvan veel burgers en tappers gebruikmaakten. In 1823 de werd de brouwerij omgebouwd tot stads lagere school.
• Het Gasthuiskerkhof
• Een schuur (voor het vee)

Tijdens de restauratie in 1973 werd op de voorgevel van een van de provenierswoningen het jaartal 1578 ontdekt. Of dit jaartal slaat op de datering van de huisjes of een later gebruikt bouwfragment is niet duidelijk.