De drie woningen aan de Paardenmarkt 16-20 dateren in hun huidige vorm uit de vroege negentiende eeuw. Voor die tijd vormden deze woningen een schuur, die bij het poortgebouw van de Hof van Wisch behoorde.
De Hof van Wisch was een winterverblijf voor de Heren van Wisch, een adellijk geslacht dat een kasteel bezat in Terborg. Dit kasteel werd in de 13de eeuw gebouwd door Dirk I van Wisch op de oostelijke oever van de Oude IJssel, bij de handelsweg van Anholt naar Doetinchem en Doesburg.
De familie Van Wisch behoorde in het Gelderse gebied tot de zogeheten Bannerheren, die hoog in aanzien stonden. Naast de Heren van Wisch behoorden ook de Heren van Bronckhorst, van Baar (tussen Lathum en Giesbeek) en van ’s Heerenbergh tot de Bannerheren.
Het volgende rijmpje uit 1650 van de hand van Arend van Slichtenhorst typeert ze:
Bergh de rijxte 
Bronkhorst de adelijxte
Baer de oudste
Wisch de stoutste
Waarbij de stoutste als de strijdvaardigste gelezen moet worden.
De Heren van Wisch, ook roofridders genoemd, grepen aan het eind van de vijftiende en het begin van de zestiende eeuw nogal eens naar de wapens.
De Hof bestond uit een hoofdwoning en verschillende bijgebouwen, onder andere een poortgebouw en een grote schuur.
Het poortgebouw stortte in 1805 in en werd afgebroken. De schuur of misschien een deel ervan, destijds met adres Paardenmarkt 16 werd op 26 november 1959 onbewoonbaar verklaard. Rond 1975 ruilde mevrouw L. Gerritsen uit Doetinchem Paardenmarkt 16-20 – getaxeerd op 65.000 gulden – tegen twee panden in het bezit van de Gemeente Doesburg, te weten het pand Meipoortstraat 61 en Ooipoort 9. Vóór 1980 werd Paardenmarkt 16-20 gerestaureerd door de Gemeente Doesburg, die in 1980 de drie huizen verkocht aan de Gestichten (van Weldadigheid) voor 384.483 gulden onder de voorwaarde dat één van de huizen werd bestemd voor de Remonstrantse Gemeente.
In de rechter zijgevel van Paardenmarkt 16 is een dichtgemetseld venster te zien.
In de linker zijgevel van Paardenmarkt 20 zijn nog enkele moeten en sporen te zien van dichtgemetselde vensters en de oude daklijn zichtbaar van het afgebroken poortgebouw.
Op Paardenmarkt 22 zien we het laatste overblijfsel van de hoofdwoning van de Hof van Wisch.
