In de beschrijving van Westra van Holthe van het huis Cloosterhorst, vanouds horende bij Oldruitenborgh staat: Hendrick Roelofs Bellart, koster van de L. Vrouwe Kerk heeft op 28 december 1657 de voorste woning van het huis gehuurd, staande op de havezate Cloosterhorst, liggende of staande naast de weeme. Hiermee kan niet de wheeme worden bedoeld die buiten de stad ligt, en vermoedelijk was bedoeld voor de pastoor van de kapel bij het Oldehuis, later de St. Nicolaaskerk. Er was dus een tweede wheeme, de pastorie die bij de parochiekerk van Vollenhove hoorde, de Kleine of Mariakerk (of Onze Lieve Vrouwekerk). De Kerksteeg was de (korte) gang die de dominee aflegde tussen zijn huis en de ingang van de kerk.
Kaart: de pastorie of weme is het middelste huis. Links havezate Nijerwal, rechts het huis Cloosterhorst. Detail van de kaart van Blaeu uit 1649. De bovenkant is het zuiden, het water is de stadsgracht.
Ook in het vuurstedenregister van 1753 komt deze pastorie voor (met twee vuursteden), en wordt zelfd de 'pastoors weem' genoemd, eveanals in 1686. In het stuk dat Everhard van Echten in 1663 schreef ter onderschrijving van zijn claim voor Cloosterhorst als havezate staat dat het schuurtje dat staat aan de zijkant van het huis Cloosterhorst, waarvoor ten tijde van Ds. van Langen vergunning was verleend, nu volgens akkoord moet weggenomen worden (inv. Kerkv. Vollenhove, no. 280, letter e). Dat schuurtje hoorde mogelijk bij de pastorie. Ds. Van Langen - in het Latijn Langius (ca. 1575-1624) - woonde van 1600-1619 in Vollenhove, mogelijk in deze pastorie. Hij was getrouwd met Maria van Isselmuden, dochter van Alpher van Isselmuden tot de Rollecate (ca. 1574-1639) die getrouwd was met Judith Sloet (in 1606, dus mogelijk door ds. Van Langen cq Johannes Langius!). Langius was de eerste dominee die beroepen werd van elders na de reformatie, die kort daarvoor (in 1592 waren de 'Spanjaarden' definitief verdreven) pas echt had doorgezet. Daarvoor woonde mogelijk al de (katholieke) pastoor, zoals Johan Vuyst, de oprichter in 1576 van het Weeshuis.
Volgens de volkstelling uit 1748 woonde naast Nijerwal aan de Groenestraat dominee Jeremias Henricus Bruining(s) (1705-1764), eerste predikant van 1744 tot zijn overlijden in 1764. Hij was predikant van 1723-1739 in Beetgum, trouwde in 1729 daar met Froukje(n) Fopma uit Groningen en was van 1739-1744 predikant in Britsum. Ze kregen rond 1730 een dochter Anna Maria die in 1752 trouwde met Johan Gerhardus van Grotenraij (1730-?), cornet (vaandrig) bij de dragonders. Op het Fort lag sinds 1749 een garnizoen dragonders, dat in 1752 plaats maakte voor een eenheid cavalerie; de verhuizing was mogelijk de aanleiding te gaan trouwen en mee te verhuizen.
Het predikantenechtpaar kreeg in oktober 1744 een zoontje dat slechts een week leefde en in een bestaand graf werd bijgezet. In 1748 woonde bij hen een dienstmeid in, Magteld van Deyk.
De pastorie is vermoedelijk afgebroken toen het terrein werd verkocht aan buurman Jan Arend de Vos van Steenwijk (1713-1779). Het terrein werd in 1800 onderhands verkocht door Jan Arends zoon en erfgenaam Reint Hendrik Baron de Vos van Steenwijk (1755 Havixhorst – 1836 Dickninge) aan Anthony Sloet, de zoon en erfgenaam van Arend Sloet. Hierbij werd Teunis Belt als pachter werd genoemd. (Onderhandse acte van 7 september 1800, ingeschreven 29 april 1805). Teunis Belt (1761-1826) was landbouwer in Vollenhove, later in de Leeuwte. Hij was in 1791 getrouwd met Jacobje Drok. Het terrein werd zo onderdeel van het Landgoed Oldruitenborgh. Het hek aan de westzijde van de wheeme is nu de hoofdingang van park Oldruitenborgh.
Op de kaart van Blaeu zijn de muren tussen de panden goed te zien. Na de afbraak van de pastorie werd het ontstane gat in de ommuring dichtgemetseld. Bij restauratie van de ommuring in 1977 werden in de muur haardstenen aangetroffen, vermoedelijk van de vuurplaats van de pastorie, tegen de muur aan de straatkant. Dergelijke haardstenen - deze zijn uit de periode 1550-1600 - werden gebruikt voor men kon beschikken over gietijzeren haardplaten ter bescherming van de muur tegen het open haardvuur. Van de oorspronkelijk 43 stenen werden er 23 in goede conditie overgebracht naar de gerestaureerde oranjerie, de Cloosterhorst, en ingemetseld in de gang. De stenen hebben alle een voorstelling in relïef, de meeste verschillend, mogelijke bijbelse taferelen. Het pand kwam voor in het vuurstedenregister van 1724 en 1753 als 'pastoors weem' met 2 vuursteden. Uit deze benaming zou men kunnen afleiden, dat het pand als zodanig al in gebruik was bij de pastoors van de parochie, dus voor de hervorming rond 1580. Een vermelding bij het pand ernaast, de Cloosterhorst van een schuurtje van dominee Van Langen, duidt op de bewoning door ds. Langius (Van Langen in het latijn), die in 1600 in Vollenhove beroepen werd.
Links van het hek zijn in de muur twee stenen ingemetseld (locatie: 52°40'49.16"N 5°57'5.06"O)., Eén daarvan bevat een uitgekapt wapen met als helmteken een vlucht en één met een Bijbelspreuk, beide stenen zijn waarschijnlijk afkomstig uit de Kleine of Mariakerk. De ommuring van het landgoed op deze plek bestaat uit enkele originele delen, en later toegevoegde stukken op de plekken waar de pastorie en de havezate Nijerwal (afgebroken in 1846) hebben gestaan. Een mogelijke verklaring voor juist deze stenen is een nagedachtenis aan de pastorie, die hier mogelijk eeuwenlang heeft gestaan. Het geslacht van der Marck, dat op Marxveld heeft gewoond, heeft een vlucht als helmteken. Het is dus niet uitgesloten, dat op deze steen het wapen van der Marck voorkwam. Op de tweede steen staat: Eccli 35 Bono Animo gloria redde de. In een der Apocriefe boeken, dat van Jesus Sirach, staat in het Latijn: Eeclesiasticus 35 (vers 10 van de Vulgata) Bono animo gloriam redde Deo, of te wel: In Jesus Sirach 35 (vers 8a Statenvertaling uit het Grieks) verheerlijk den Heere met een goed oog". De Latijnse Vulgata leest: Verheerlijk den Heere met een goede ziel, of met een goed hart of gemoed, of: in een goede stemming des gemoeds.
