Cloosterhorst is een huis aan de Groenestraat (vroeger Hofstraat geheten), bij de ingang van Landgoed Oldruitenborgh en maakte daar ook deel van uit. Wanneer het huis gebouwd is, is niet bekend. In 1438 kwam Boldewijn van den Rutenberg (1420-?) in bezit van het naast Oldruitenborgh gelegen huis, dat later de naam Cloosterhorst kreeg.

Die naam dankt het huis aan Herman van den Clooster (1493-<1562), telg uit een adellijk geslacht dat zijn naam dankt aan een huis ‘ten Clooster’ bij Coevorden, genoemd in een bisschoppelijke oorkonde in 1263. Johan van den Clooster was gehuwd met Agnes van Ruitenberg, dochter van Steven van de Ruitenbergh die drost van Twente was rond 1300. Hun zoon Boldewijn was gehuwd met Ghyselte van Echten, zoon Reinoud had de Havixhorst. Diens dochter Arnolda / Arent(je), geb. ca. 1430, trouwde in 1454 met Herman Hagen (?-1472). Verder trouwde uit deze familie Elisabeth in 1589 met Borchard van Westerholt.

Herman was in 1534 getrouwd met  Beate (Berta, Barte  ca. 1537-<1568) van Echten, dochter van Johan van Echten (1465-1493) en Harmanna van den Rutenberge (ca. 1466-1513). Na het overlijden van Herman kwam vermoedelijk Beate's zus Boldewijn / Boldewina (1488-?) bij haar zus wonen op Cloosterhorst. Het huis bleef eigendom van Johan's zoon, ook Johan.

Cloosterhorst kwam na het overlijden van Johan van Echten (1490-1570) in handen van zijn tweede zoon Herman (oudste zoon Johan de olde kreeg Oldruitenborgh, 1541-?) die er ook ging wonen. Hij bezocht wel 37 jaar lang de landdagen en klaringen als lid van de Ridderschap, maar was niet van een bepaald goed verschreven. Hij trouwde met Sophia van Essen en kreeg in 1572 een zoon Johan. Na het overlijden van deze zoon kwam Cloosterhorst aan zijn oom Johan de olde (1540-1619). Daarbij werd opgeschreven dat Herman het huis had opgeknapt maar er nog niet mee klaar was, er lagen nog ettelijke balken en natuursteen voor klaar. Vervolgens werd het huis geërfd door Johan de jonge (1578-1639). Bij een inventarisatie in 1639 door Agnes Beninga, weduwe van Johan van Echten de jonge, wordt gesteld dat het huisje 'aan de straat' een heel slecht dak had, en was bewoond door Luittien Evers.

Het eigendom ging over op Johans broer Wolter / Wouter van Echten tot Relaer (ca. 1580-1643) uit Heino.

Diens zoon Everhard / Evert (1618-1672) kwam mogelijk rond 1657 vanuit Heino naar Vollenhove, knapte Oldruitenborg op en probeerde (in 1663) Cloosterhorst ook als havezate aan te laten merken. Dat lukt niet: er was geen adellijke bewoning (meer), ook al werd aangevoerd dat ook een adellijke Van Casten en jonker (Van der) Lawick er gewoond zouden hebben. Over welke periode dat gaat, en welke Van der Lawick dat is geweest, valt niet meer te achterhalen (een Thomas woonde rond 1640 in de Toutenburg, een Johan is in 1619 met Ida Sloet getrouwd; Arend Coenraad werd in 1671 van Benthuis verschreven). Een rotmeester uit Vollenhove verklaarde wel dat van het huis ‘altijd wachte gedaan was, als andere havezaten’ (oude stadsarchief van Zwolle, voorl. Inv. nr. AAZO1-01157, deductiën over admissiën van edelen, 1621-1750).

Schrijvende over Evert van Echten tot Oldruitenborg (en Cloosterhorst) meldt van Doorninck: naast den Olden Rutenberg is een klein huisje gelegen, Cloosterhorst genaamd en voor meer dan 20 jaren (dus vóór 1707) geruïneerd, staande op een vuur­stede. Zie Gedeputeerden 20 januari 1727. Zijn zoon Reint Wolter noemt zich bij een verkoop op 12 juni 1675 voor de schults van de Wijk enz. "tot den Olden Ruytenborch en Cloosterhorst”. Uit een kasboek, beginnende in 1651 van Evert van Echten toe den Olden Rutenborgh en Cloosterhorst, in het archief op Marxveld, worden wij wat meer gewaar van deze woning. Wij lezen daar, dat Hendrickien 1 januari 1659 noch een jaar de achterste kamer van Cloosterhorst gehuurd heeft en dat 13 maart van dat jaar Hendrickien afgerekend heeft met de echtgenote van Evert van Echten, hetgeen Hendrickien verdiend heeft met wassen, schoonmaken, wieden en spinnen. In 1662 huurt Hendrickien die kamer nog. Hendrick Roelofs Bellart, koster van de L. Vrouwe Kerk (de Kleine of Mariakerk) heeft op 28 december 1657 de voorste woning van het huis gehuurd, staande op de havezate Cloosterhorst, liggende of staande naast de weeme (Pastorie aan de Groenestraat), hij zal de halve vrucht van het hofje hebben, behalve “die suickereeyboom” (suikerperenboom?) die voor de deur staat, daar Hendrickien woont. Hendrik Roelofs Bellart huurde op 5 januari 1660 het huis Cloosterhorst weer voor één jaar en zal voor pacht geven 10 goltgld., uitbehouden de perenboom. Jammer, dat dit kasboek niet verder loopt dan 1662. In een deductie, opgesteld in de 17e eeuw door Everhard van Echten wordt gezegd dat het schuurtje dat staat aan de zijkant van het huis Cloosterhorst, waarvoor ten tijde van Ds. van Langen vergunning was verleend, nu volgens akkoord moet weggenomen worden (inv. Kerkv. Vollenhove, no. 280, letter e). Bij overlevering is bekend, dat Cloosterhorst gelegen heeft ongeveer waar nu de ingang van Oldruitenborg, dus voor de Kerksteeg, is. 

Cloosterhorst bestond rond 1659 dus uit twee woningen, die beide werden verhuurd. In de archieven komt het huis pas weer voor wanneer het kadaster wordt ingesteld. In de Oorspronkelijk Aanwijzende Tabel van 1832 staat het vermeld als huis en erf (oranjerij), kavel A95 van 610 m2, in eigendom van Anthony Sloet van Oldruitenborgh (1769-1853). In 1853 ging het naar diens zoon Anton Henri Sloet, daarna naar kleinzoon Anton Sloet. Het heet ‘den orangerie’: een oranjerie was de aanduiding van het gebouw waar 's winters de in grote potten geplaatste sinasappelboompjes beschermd tegen de vorst werden opgeslagen. In 1893/1894 vindt gedeeltelijk afbraak plaats, ‘het is dan ‘bergplaats en broeikas’, en ook in 1897 verdwijnt weer een deel maar blijft totaal 610 m2. Uit tekeningen blijkt dat er aan het gebouw langs de muur met de Groenestraat tot bijna het (nieuwe) Benthuis aan toe een overkapping is gemaakt die kennelijk later in fasen weer is afgebroken. De huidige bebouwde oppervlakte is 266 m2. Kijkend naar de gevel aan de Groenestraat is er (ook) twee keer een stuk aangebouwd.

De huidige ramen zijn vermoedelijk geplaatst bij de verbouwing in 1975. Daarvoor was het een blinde muur, en het gebouw was één grote ruimte die achtereenvolgens, nadat de gemeente eigenaar werd in 1947, voor diverse doeleinden is gebruikt. Bijvoorbeeld door de padvinderij, kort na de oorlog opgericht (alleen voor meisjes) door de dochters van Nering Bögel. De Nationale Reserve wilde het gebouw graag hebben in 1951, maar mocht een ruimte in het gemeentehuis gebruiken. Van plm. 1965-1970 was het een opslag van Machinefabriek Van de Graaf voor de overtollige onderdelen van de rolschaatsen, die men een tijdlang produceerde.

Cloosterhorst was in 1966 al aangemerkt als monument. De beschrijving in het monumentenregister: ORANJERIE behorende bij de historische buitenplaats Oldruitenborg. In de muur aan de Groenestraat een oranjerie; ingrijpend gerestaureerd; eenvoudig bakstenen gebouw op L-plattegrond onder schilddak met rode pannen; zuidschild (tuinzijde) met grijze pannen loopt naar beneden door over de uitbouw op de zuidoosthoek van het gebouwtje; straatgevel (noord) met een deur en twee 6-lichtsvensters en een dichtgezette koetsingang; tuingevel met vier glasdeuren (10-lichts). De ORANJERIE is van algemeen belang vanwege de ouderdom, vanwege de eenvoudige doch harmonische vormgeving, als cultuurhistorische, functionele en visueel-architectonische onderdeel van het complex.

Als bouwjaar noemt de Rijksdienst voor Cultureel Erfgoed 1800. Gezien het bovenstaande, en de duidelijk originele elementen in tenminste de oostgevel, is dit onjuist en zijn onderdelen veel ouder.

In 1975 werd het verbouwd tot kantoor voor de afdeling Sociale Zaken van de gemeente. Die functie stopte kort na 2001 toen de gemeenteambtenaren naar Steenwijk gingen. In deze periode zijn in de buurt gevonden oude haarstenen, afkomstig uit de ooit naastgelegen pastorie, in de gang ingemetseld met een toelichting daarbij. In 2007 werd het verbouwd tot restaurant / brasserie van het hotel, dat in Oldruitenborgh was gevestigd. Die functie had het niet lang, omdat het zakelijk niet goed ging met het hotel. Uiteindelijk werd Cloosterhorst evenals Benthuis door de bank verkocht aan particulieren, beide gebouwen werden verbouwd tot woning.