Het Van Brakellhofje oogt als een eenheid, maar die eenheid bestaat pas sinds 1971, dankzij een forse bouw- en stedenkundige ingreep op initiatief van de Gestichten (van Weldadigheid) Doesburg.
Oorspronkelijk bevond zich op dit terrein tussen de Veerpoortstraat en de Waterstraat een huis van de Broeders van het Gemene Leven (ook Fraters genoemd), die in 1426 uit Zwolle naar Doesburg waren gekomen. Na eerst een huis gehuurd te hebben kochten zij in 1429 een huis, dat lag tussen de Veerpoortstraat en de Waterstraat. Na amper twintig jaar verlieten zij dit pand alweer onder andere vanwege de vele herbergen in de Veerpoortstraat.
Het door de Fraters verlaten huis werd, dankzij de inspanningen van Evert van Bingerden – een telg uit een eeuwenoud adellijk geslacht -, bestemd voor armlastige weduwen, voor wie een weldadige stichting in het leven werd geroepen. Het poortje links naast Veerpoortstraat 20, het zogenaamde saterspoortje, gaf toegang tot dit Weduwenhuis. Aan de westkant van het Hofje is nog steeds een muur van dit Weduwenhuis te zien. Toen het Weduwenhuis werd verplaatst in 1811 kwam het huis in bezit van Stadscommandant Luitenant-kolonel W. de Vaynes van Brakell, wiens geslacht afkomstig was uit de Franse regio Dauphiné. In november 1813 bracht hij, met gevaar voor eigen leven, de Franse bezetters tot bedaren door een kolonelshoed met de Franse kokarde (een onderscheidingsteken in de nationale kleuren op hoed of muts), op te zetten, waarmee hij een beroep deed op het Franse eergevoel. Hij voorkwam de plundering van de stad en werd de naamgever van het Hofje. Een klein bronzen beeld van de hand van Pieter Snijders vormt een eerbetoon aan hem.
In 1870 werd achterin op dit terrein een rooms-katholieke jongensschool gevestigd, waarvoor in 1917 nieuwbouw werd gerealiseerd. Het hekwerk aan de straatkant met de bakstenen pijlers behoorde bij deze school, die in 1971 werd afgebroken ten gunstige van het huidige Van Brakellhofje.
Tussen 1964 en 1967 werd voor pand nr. 18 een sloopvergunning aangevraagd, maar die werd geweigerd. Ongeveer in dezelfde periode werd Veerpoortstraat 14 onbewoonbaar verklaard.
Begin zeventiger jaren van de twintigste eeuw kochten de Gestichten van Weldadigheid de huizen Veerpoortstraat 14 (onbewoonbaar verklaard) en 18 (rijksmonument) van de Gemeente Doesburg. Op de foto uit 1984 is te zien dat de zijgevel gewijzigd is en op dat moment twee deuren bevatte. Op het voormalige schoolterrein werden de huizen Veerpoortstraat 14a, 14b en 14c gebouwd, waardoor een Hofje ontstond. De kastanjebomen bleven staan evenals het toegangshek.
Boven: een foto van Veerpoortstraat 18 uit 1963. In de zijgevel is één deur aanwezig.
Onder: een foto van Veerpoortstraat 18 uit 1984. In de zijgevel zijn twee deuren te zien.
Onder: een foto van de Veerpoortstraat 18 uit 2011.
Het Saterspoortje links naast Veerpoortstraat 20. Beeldje van Van Brakell