Ten zuiden van de oude stadskern van Vollenhove liggen in het park van het landgoed Oldruitenborgh op een eilandje de laatste resten van het eens zo omvangrijke kasteel Toutenburg, omspoeld door de brede vierhoekige slotgracht.

Coördinaten:  52°40'45.50"N 5°57'14.11"O.

De Toutenburg werd gesticht door Georg (of Jurjen) Schenck, die als edelman van Frederik van Baden, bisschop van Utrecht, in 1496 in ons land kwam en begiftigd werd met het drostambt van Vollenhove en later met het stadhouderschap van de noordelijke Nederlanden. De naam is afkomstig van het oorspronkelijke kasteel van de familie Schenck, uit de 11e eeuw, dat stond in de buurt van Leipzig (Thüringen). De resten van die burcht bevinden zich bij het dorp Tautenburg. Ook bij Leeuwarden stichtte Schenck een kasteel met die naam.

Het kasteel is bij gedeelten verrezen, waarvan elk deel afzonderlijk bewoonbaar was. In 1524 begon men met het "getimmer", in 1531 werd met een nieuw deel begonnen, wat bleek uit een opschrift boven een poort, en in 1552 was men er nog mee bezig.

De bouwtijd geeft reeds aan, dat hier niet van een kasteel in de eigenlijke zin van het woord sprake kan zijn geweest. Sterkten met stenen muren van nog geen meter dik konden immers aan het geschut van de zestiende eeuw geen weerstand van betekenis meer bieden. Maar niettemin kreeg het coulissenkasteel, zoals wij het dan maar zullen noemen, het uiterlijk van een geduchte sterkte, gebouwd als het werd als waterburcht met een smalle houten brug naar het indrukwekkende poortgebouw.
Het gebouw had een bijna vierkante grondslag. Aan de westzijde, tussen twee torens, was de ingang gesitueerd. Twee torens met uivormige bekroning bevonden zich op de hoeken van de oostelijke muur. Het gehele gebouw was onderkelderd, waarboven zich slechts één verdieping verhief. De vertrekken waren geconcentreerd bij de oostelijke torens, het zogenoemde zuider- en noorderhuis, terwijl op het binnenplein zich het L-vormig hoofdgebouw - het middelhuis - bevond.

Een zeventiende-eeuwse gravure en een schilderij uit dezelfde tijd, vervaardigd door F. Camerlinck, lichten ons in over de omvang en het exterieur van de Toutenburg. Wij zien dan een naar het westen gekeerde ingangspartij, bestaande uit een van een trapgevel voorzien poortgebouw tussen twee ronde torens, die met een spits dak zijn gedekt. Op deze torens sluiten aan beide zijden vleugels aan, met een zadeldak gedekt, en voorzien van een trapgevel aan het einde. Op het dak zijn meerdere dakkapellen aangebracht, terwijl de muren in spaarnissen aangebrachte raamopeningen vertonen van verschillende grootte.
Op de zuidelijke vleugel sluit een muur aan, waarin ook weer openingen zichtbaar zijn van kruisvensters. Ook is hier een erkerachtig uitbouwsel op consoles te zien. De zuidoostelijke hoektoren, rond van vorm, is gedekt met een achtzijdige spits die uitloopt in een ui, een in deze streek ongebruikelijke maar niettemin zeer sierlijke bekroning van een toren. Op de eerder genoemde gravure is ook een noordoostelijke hoektoren te zien, identiek aan de zuidoostelijke, waartussen een muur. De noordmuur tenslotte sluit weer aan op de eerder vermelde noordelijke vleugel terzijde van de ingangspartij. Hoe de bebouwing van het door deze muren omsloten binnenterrein is geweest laat zich moeilijk uit de afbeeldingen aflezen. In ieder geval is er sprake geweest van een hoog, door zadeldaken gedekt hoofdgebouw waarvan de topgevels de veelvuldig in dit complex voorkomende getrapte bouwwijze vertonen. Bij de noordoostelijke en zuidoostelijke hoektorens staan ook gebouwen, die vermoedelijk in de vorm van een L zijn gebouwd.

De periode na Georg Schenck: Karel en Frederik, 1540 - 1581

Georg Schenck overleed (op de Toutenburg, net zoals zijn beide vrouwen) aan de gevolgen van een kwetsuur door een musketschot opgedaan bij de belegering van Genemuiden op 21 februari 1540 en hij werd op het koor in de Grote Kerk te Vollenhove begraven.

In 1542 werd er aan het begin van de oprijlaan ('Donkere Allee'), bij de Bentpoort, een kleine toegangspoort gebouwd. Hiervan zijn overigens geen resten van teruggevonden.

Op 1 juni 1543 verkocht het klooster St. Johanscamp aan Karel (Schenck) van Tautenburgh, de zoon en erfgenaam van Georg, een rente uit de kloostergoederen.
Nadat hij meerderjarig was geworden verscheen Karel Schenck in 1546 als riddermatige op de landdag, waardoor de Toutenburg ongemerkt als havezate werd aangemerkt.
In 1556 sloot hij met gedeputeerden van Kampen een overeenkomst over de betaling van vier stukken geschut, kleine draaibare kanonnen die vermoedelijk in de kanonkelders onder de poorttorens werden gemonteerd zodat de de hele westelijke flank konden bestrijken. Op 11 januari 1565 maakte hij op het huis Toutenburg met zijn meiers te Dwingeloo (erve Batinge!) nieuwe voorwaarden voor verhuur aan zijn erven, waarin stond dat de huurders op verlies van huur verplicht waren, de rogge te leveren op het huis Toutenburg of "voor 't Lant te Vollenhoe", vanwaar ze op kosten van de Heer zou worden afgehaald.

Direct na het overlijden in 1571 van zijn halfbroer Karel gaf de Utrechtse aartsbisschop Frederik Schenck van Toutenburg, die zich als erfgenaam beschouwde, opdracht een gerechtelijke inventarisatie van de boedel in het sterfhuis Toutenburg op te maken. Die is bewaard gebleven en daaruit is op te maken wat er op een dergelijk kasteel in die tijd aanwezig was.
Het kasteel omvatte de grote 'steinen' zaal, het oude salet met onder meer een beeld van Maria Magdalena uit 1528 met het wapen van Georg Schenck, de garderobe met twee vertrekken en de 'stove'. In de kamer bij de 'stove' bevond zich 'ein tafreili van ein schoen Marienbelde mit de figuer van zalige Jurgen Schenck ende sin gemahelin vrouw Joanna van Eggemondt'. Tevens was er een harnaskamer, de secreetkamer, Steenrichskamer, bisschopskamer, de bottelarije of de kelder, de bierkelder, de wijnkelder, de keuken, de sniderkamer, de poortkamer, de meidenkamer, mr. Arentzkamer en nog verschillende andere kamers. In de secreetkamer werden de meest kostbare goederen aangetroffen, waaronder vergulde bekers waarmee de stad Groningen Jurjen Schenck had vereerd, alsmede lijfssieraden. Ook bevonden zich hier de kisten met archiefstukken. Opvallend zijn de vele schilderijen die overal in het huis hingen, meestal met voorstellingen van heiligen. In 'de kamer boven 't nye sallet' hing een portret van Georg Schenck, dat in het Provinciaal Overijssels Museum te Zwolle wordt bewaard.

Karel Schenck liet alleen een bastaardzoon achter, jonker Lodewijk Schenck, die in 1637 overleed.

Aartsbisschop Frederick Schenck overleed in 1580 zonder testament na te laten en toen was het hek van de dam! Na de gevoerde processen, die bijna een eeuw duurden en waarin de partijen (Van den Boetzelaer en De Mangelaer) elkander van moord en valsheid in geschrifte betichtten, bleven de bezittingen in Overijssel, Drenthe en Holland van Frederik Schenck aan leden van het geslacht Van den Boetzelaer, achterneven van de aartsbisschop.

De periode Van den Boetzelaer: 1581 - 1639

In 1581 werd de stad Vollenhove door staatsgezinde soldaten uit het leger van Sonoy, onder bevel van de Engelse veldheer John Norrits, ingenomen. Deze legde garnizoenen op het Oldehuis en de Toutenburg, die aan de huizen veel schade berokkenden.
Bij het bezetten van Hasselt 26 oktober 1582 door de Staatsgezinde partij werd o.a. bij Jan van Wilp, die rentmeester en pachter van enige Toutenburgse goederen was, te zijnen huize vele goederen, de huize Toutenburg toebehorende en bij Van Wilp in bewaring, geroofd.

Op 31 juli 1585 werden Joachim, Steven en Oswald van den Boetzelaer erkend door het Hof te Utrecht als erven, naast hun oom overste Christoffel Schenck. Zij waren de zonen van Anna Schenck, dochter van overste Willem Schenck, broer van George Schenck. 

Door de schade, aangericht bij de bezetting door de Staatse troepen in 1581 bleek de Toutenburg, evenals het Oldehuis, geen geschikt verdedigbaar bouwwerk meer te zijn. De Overijsselse Staten wilde beide huizen dan maar ontmantelen. De nieuwe eigenaren wisten dit te voorkomen door de bezettingstroepen uit te kopen en zo hun bezit veilig te stellen. Tevens beloofden zij de Staten dat zij het huis goed zouden bewaren en geen andere bezettingen zouden toelaten.

Anna, de dochter van Oswalt, hield van 1607-1611 (ze trouwde in 1612 en vertrok naar Amerongen) een vriendenboek bij, waarin daarnaast ook veel bezoekers van de Toutenburg iets schreven of tekenden. Hieruit blijkt dat er soms hoog bezoek logeerde, zoals in 1611 de Prins van Oranje, zijn vrouw en zijn zuster.

Joachim van den Boetzelaer nam aanvankelijk vanwege het huis Batinge bij Dwingeloo, ook uit de erfenis, deel in de Drentse Ridderschap. In 1613 stond hij dit goed af aan zijn zoon Rutger en verzocht hij in 1619 vanwege de Toutenburg toegang tot de Overijsselse Ridderschap. Dit verzoek werd echter aangehouden; blijkbaar kwam dit voort uit het feit dat niet het gehele kasteel aan hem toebehoorde. Het kasteel bestond uit drie huizen zoals hierboven vermeld: het zuiderhuis, het noorderhuis en het middelhuis. In elk huis woonde het gezin van één van de broers, en later hun kinderen. Verder was er een gemeenschappelijk deel met o.a. de bediendenwoningen, brouwerij, bakkerij etc.

In de zomer van 1615 werd nabij de Toutenburg het lijk gevonden van een door messteken om het leven gebrachte man. Volgens getuigen was dit het lijk van een bedelaar of landloper. Maar vanaf 1638 werd dit feit anders geïnterpreteerd, toen Adriaan van Mangelaar tegen de erven een proces begon over de nalatenschap van Georg Schenck. Van Mangelaars vrouw Levina Schenck zei de zuster te zijn van de vermoorde man, Joost Schenck.

In 1617 maakt Claes Jansz. Visscher een kopergravure met daarop een gezicht op de Toutenburg bij de stad Vollenhove vanuit het noordoosten, met de stadsmolen op de voorgrond. Onderschrift: Toutenburch, te Vollenhove, int Lant van Overijsel.
Het kasteel is vanuit het noordoosten getekend met op de voorgrond de standaardmolen, eigendom van de stad. In 1629 verscheen nog een ets over de Toutenburg, gebaseerd op die van Visscher. Maker is Sebastian Furck. Het is een zinnebeeldige voorstelling met als motto: Wie schatten verzamelt, verzamelt ook zorgen.

Op 27 september 1619 schrijft Oswald van den Boetzelaer aan Kampen dat hij en zijn broer Joachim meermalen verzocht hebben in de Ridderschap van Overijssel verschreven te worden daar hunne voorvaderen in de Graafschap Berg, waar zij gevestigd zijn geweest, tot alle adellijke vergaderingen enz verschreven zijn. Zij beiden bevelen zich bij Kampen daarvoor aan.

De broers hadden in 1621 geschillen en riepen op 13 maart de tussenkomst van Ridderschap en Steden in. Voormelde Joachim van den Boetzelaer had uit zijn eerste huwelijk twee zonen, Rutger die drost van Drenthe is geweest (wonde op Batinge bij Dwingelo) en Willem Jurriaen die verschreven werd in de Overijsselse Ridderschap (zie ook onder Westerholt). Op Batinghe legde deze 23 januari 1621 een verklaring af dat de niet in de boedelscheiding van die datum opgenomen voorplaetze (voorhof) voor het huis Toutenburg met zodanige kruidgorens (tuinen) en boomgaarden, als ook het houtgewas en het halve bouwhuis voor die voorhof van Toutenburg staande en alle roerende goederen op de huizen Toutenburg en Batinghe in gebruik bij zijn vader, eigendom zijn van zijn broer Rutger.

Toutenburg werd bewoond door de broers Joachim "het suyderhuys totte poort", Steven (naderhand diens zoon Rutger) "het huys naet westen" en Oeszewoldt (Oswalt) "het middelhuys", hetgeen blijkt uit een proces gevoerd door de broers onderling omtrent het jaar 1622.

Op de landdag van Drost en Gedeputeerden van Drenthe van 19 november 1623 werd geklaagd, dat de ontvanger-generaal Rutger van den Boetzelaer, zich of te Dwingeloo (hij was eigenaar van Batinge, en zo lid en zelfs gedeputeerde van de Drentse Staten) of te Vollenhove bevond en niet te Assen. Een excuus was het overlijden van zijn vader Joachim.

Toen na de dood van Joachim een overeenkomst in 1625 werd gesloten tussen zijn zoons over de Toutenburg, bleek dat het huis reeds geruime tijd in drie eenheden was opgesplitst. Zo bezaten Joachims zonen slechts de 'suydersyde van het huys, beginnende van de poortcamer, incluys de Bentzyde mettet suyderhuys tot aan 't brouhuys'.
Oswald en zijn zoon Steven bezaten de rest: Oswald het middelhuis en Steven de 'noordersyde, de hofmeesterscamer, het backhuys ende de torens tot aen de graft'. Het brouwhuis, de zolder en de kelder bleven aan Joachim en zijn broer Oswald samen, terwijl Steven nog het bakhuis kreeg. De poort, het portiershuis, de grachten, de brug, de buitenmuren en de buitengrachten bleven in gezamenlijk eigendom. Deze situatie had dan al geruime tijd bestaan. Verder was bepaald dat het recht van verschrijving vanwege het huis alleen zou toekomen aan de oudste zoon van Joachim.

Rutger van den Boetzelaer (1578-1668) schrijft op 27 februari 1627 aan Hasselt, dat hij het huis Toutenburg heeft doen herstellen en daarin graag een glas met Hasselts wapen wilde plaatsen. Hij trouwt in 1630 en gaat op Batinge wonen.

Willem Jurriaan, zoon van Joachim en broer van Rutger, woonde in 1635 op Toutenburg - vermoedelijk in het zuiderhuis, terwijl in een ander deel  - het noorderhuis - op dat moment kapitein Thomas van der Lawick woonde, de weduwnaar van Johanna, de dochter van Steven. In 1637 werd Willem Jurriaan eigenaar van de hele Toutenburg en alles wat er bij hoorde. Hij kon zich dus ook van de Toutenburg laten verschrijven, maar was inmiddels ook eigenaar van Westerholt en zodoende lid van de Ridderschap. Vermoedelijk is hij kort na 1635 verhuisd naar havezate Westerholt. Zijn zoon Joachim (1624-?) woonde in 1649 op Westerholt maar verhuisde in 1663 ook naar Dwingelo. Zijn dochter Elisabeth (1627-?) trouwde in 1647 en verhuisde naar Ruinen. Het lijkt er dus op dat vanaf 1637 dit huis onbewoond was.
In 1675 zijn de vier vuurplaatsen, waarvoor belasting moest worden betaald, vervallen.

De periode Van Haersolte: 1639 - 1787

Door het huwelijk in 1639 van Ernestina, kleindochter van Steven van den Boetzelaer tot Toutenburg (1620-1684) met Antonie van Haersolte (1610-1670) die zich 'heer van Nijerwal' noemde  kwam Toutenburg in het geslacht Van Haersolte.

Door Rutger van den Boetzelaer en zijn echtgenote Beatrix Mulert werd met de Gedeputeerden der Geestelijke goederen te Vollenhove op 16 april 1644 een scheiding van een bente omtrent Toutenburg gelegen getroffen waarbij hij de voorste helft verkreeg. Hij had het recht van de helft van die bente gekocht van de erfgenamen van jonker Boldewijn van Renoy, schout van Giethoorn. Rutger, Floris en Joachim van den Boetzelaar tot Westerholt met A. van Haersolte, erfgenamen van de Toutenburgse venen in Friesland, machtigden 12 juni 1658 hun neef Antonie van Haersolte die venen op te vorderen en te verkrijgen.

Antonie en Ernestina woonden op de Toutenburg - vermoedelijk het middenhuis, ook al had hij in 1643 havezate Herxsen bij Wijhe geërfd - maar dat huis liet hij niet opknappen. In 1662 kreeg hij een 'glas' (raam) van de Staten van Overijssel. 
In 1663 dichtte Anthony van Mierlo het volgende over de Toutenburg:
'Het Vorstelijck Toutenburg tuygt van myn heerschappy, 'k heb Utrechts staf geswaeit, en Karels kroon verdedicht, En t Lant als Vooght bestiert voor Spanjens Monarchy, 'k heb mannelijck gestreen, en vredelijck bevredicht.' 

Vermoedelijk in het noorderhuis woonde ook jonker Egbert Morrhe (1616-1667), getrouwd met Aleid van Haersolte, dochter van Arend van Haersolte uit Kampen, een andere tak van de familie. Zijn dochter trouwde met Herman van Uiterwijck, kleinzoon Egbert met de erfgename van Oldhagensdorp.

Zoon Rutger van Haersolte (1642-1703) woonde vanaf zijn huwelijk in 1671 niet permanent maar wel vaak in Vollenhove. Hij was van 1689-1692 gildemeester van het St. Anthoniusgilde waarvan hij in 1664 broeder was geworden zoals gebruikelijk bij de jonkers in Vollenhove. Misschien maakte hij gebruik van het noordhuis tot het overlijden van zijn vader in 1691. Zoon Ernst (1673-1712) woonde vermoedelijk in het middenhuis van 1693 tot 1712, de andere zoon Rutger Zwier (1675-?) woonde er met zijn echtgenote vanaf het huwelijk in 1700 tot haar dood in 1729. 

Op het vuurstedenregister van 1675 komt de Toutenburg voor met twaalf vuursteden, echter wel met de mededeling dat de vier vuurplaatsen van het 'suderhuys' waren vervallen. Op grond van dit aantal vuursteden was de Toutenburg het grootste huis in het Ambt Vollenhove - de Rollecate telde elf vuursteden - maar tevens blijkt hieruit dat het verval al had toegeslagen. Dit proces van teloorgang zette zich onstuitbaar voort: in 1682 bezat de Toutenburg nog maar zeven bruikbare vuurplaatsen, de andere waren 'geruineert' .

Omstreeks 1676 werd Toutenburg bewoond door de 'heer van Hercksen' met vrouw, 3 kinderen, knecht, één jongen en 3 meiden. Hij was landrentmeester van Vollenhove en legde in die functie op 31 mei 1678 de eerste steen van de kerk te Kuinre. Van Haersolte gebruikte de Toutenburg slechts dan als woning wanneer zijn functie van landrentmeester vanVollenhove zijn aanwezigheid te Vollenhove gewenst maakte. In 1671 was Van Haersolte met Geertruid van Ittersum gehuwd, die in 1681 te Vollenhove in de kraam overleed. 

Een van Haersolte uit een heel andere tak, Anthony van Haersolte tot Elsen (Bredevoort, gedoopt in maart 1640 - Vollenhove, Kasteel Toutenburg, 30 juni 1701) was van 1692-1701 drost van Vollenhove en woonde (mogelijk vanaf 1693, hun kinderen werden alle gedoopt in Zwolle) op de Toutenburg - vermoedelijk in het noorderhuis. Hij is de enige overlevende van het gezin Haersolte die dramatisch aan het einde van hun leven kwamen na de Kruittorenramp op Kasteel Bredevoort. Hij was heer van Elsen, Staverden en Bredenhorst, drost van Vollenhove, stichter van het Haersolte-Armenhuis in Zwolle.

Rutgers broer Ernst werd in 1705 van Toutenburg verschreven. Hij woonde toen vermoedelijk in het noorderhuis.
Ernst van Haersolte verzocht 24 juli 1710 aan het College van de Volle Stoel een stukje van de bent, dat eigendom was van de Geestelijkheid, omdat hij dat nodig had ter verbreding van de weg tegen Toutenburg. Dit werd hem omdat het maar weinig grond was op 5 september 1710 voor niets gegeven. Verder verzocht hij de weg gelegen aan de noordzijde van de Rentambthof en de Bagijnenkamp en aan de zuidzijde tegen de Benten met bomen te mogen beplanten, beginnende van de "Scheytsmuyr" tussen de boomgaard van de Toutenburg en de Geestelijke Rentambthof tot oostwaarts aan de gracht langs de boomgaard van de Rollecate. Dit verzoek werd toegestaan, mits de passage en de wagenweg daardoor steeds vrij en ongehinderd zouden blijven.

Hoewel reeds enigszins in verval, moet het huis na 1700 al snel veel van zijn vroegere glorie hebben verloren. Op de tekeningen van de Toutenburg van Cornelis Pronk en Abraham de Haen uit 1729 valt te constateren, dat met name de oostelijke hoektorens en het muurwerk al grote gaten vertonen.

In 1712 volgde als verschrijvingsrechthebbende Rutger Zwier van Haersolte tot Herxsen, die uit kracht van dispositie van zijn grootmoeder Ernestina van den Boetzelaer in 1712 na overlijden van zijn oom Ernst de havezaten Tautenburg en Paaslo erfde. Hij woonde vermoedelijk al sinds zijn huwelijk in 1700 op het middenhuis.
Rutger Zwier van Haersolte volgde een militaire loopbaan. Zijn grote bezittingen, ter waarde van ruim 100.000 gulden, zouden het hem mogelijk moeten hebben gemaakt een grote staat te voeren; toch werd hij voortdurend door schuldeisers achtervolgd. In 1700 was hij met zijn verwante Ernestine van Haersolte tot Hoenlo gehuwd, die in 1729 stierf. Nadien verbleef hij voornamelijk op Haerst en liet hij de Toutenburg over aan zijn zoon Rutger. Hij had inmiddels een belastingschuld van enkele duizenden guldens, waarvoor de ontvanger een arrest op zijn lijfrente-uitkeringen had gelegd. De schuld hield verband met de hoge belastingaanslagen waarmee hij werd geconfronteerd als erfgenaam van maar liefst vier havezaten: Herzen, Haarst, Paaslo en Toutenburg. De successierechten op de nalatenschap van oom Ernst bedroegen f. 3.000,-! Dat geld was er niet en daarom moest een lening worden afgesloten. Toen Rutger Zwier sr vervolgens de havezate Haarst van zijn broer Anthonie Adolf erfde, moest hij nog eens f.4.000,- aan successierechten op tafel leggen. Het klinkt enigszins tegenstrijdig, maar deze erfenissen brachten hem aan de rand van een faillissement. In 1731 was zijn schuld opgelopen tot het enorme bedrag van f.28.000,-. Hij overleed in 1744. Met zoon Rutger, begon een algehele uitverkoop van het goederenbezit van de Van Haersoltes in Vollenhove. Eerst deed hij samen met zijn beide zusters, Geertruid en Anna Elizabeth, afstand van de havezate Paaslo met onderhorige landerijen en erven. Daarna volgden de goederen die onder Toutenburg ressorteerden

Hun zoon Rutger (1705-1786) was de laatste bewoner. Hij werd na de dood van zijn vader in 1744 ook met de Haerst beleend. In 1748 woonde Van Haersolte nog met zijn vrouw Anna Elisabeth van Haersolte op de Toutenburg, met zijn zusters Geertruid (1703-1772, ongehuwd, stiftsjuffer Zwartewaterklooster) en Anna Elizabeth (voor 1708 – 1774, ongehuwd, kloosterjuffer Almelo), en als personeel David Keller, Pieter Leusink, Willem Assies, Ytje Bos, Geertje Vermeers en Grietje Sonsbach. Kort daarna moet hij zich definitief op Haerst hebben gevestigd om slechts zo nu en dan op de Toutenburg te verblijven. 

In de Amsterdamsche Courant van 24 april 1756 staat de volgende advertentie :

Daer wordt te koop gepresenteerd het Oude Adelyke Kasteel TAUTENBURGH, herkomstig van de Vryheeren Schenk, geleegen even buyten de stad Vollenhove, digt by de Zuyder Zee, voorzien met een groot en sterk Heeren Huys, waer in onder anderen 9 behangen Kamers, voorts Stallingen, Hoveniers Huys, en verdere Opstal, rondsom in breede en Visryke Gragten, nevens fraye Hoven en Allées, en zulks met alle de daer onder behoorende Boere Erven en losse Landeryen, hebbende ook het regt van Verschryvinge in de Ridderschap van Overyssel; die daer in gadinge heeft addresseere zig by den Heer Eigenaar op de Huyze Haerst by Zwol, of by de Heer Schout O. H. Moulin te Vollenhoven.

In juli 1782 werd op Haerst de verkoop bezegeld van alle grond rond de Toutenburg, inclusief het hoveniershuis, door Rutger van Haersolte aan Arend Sloet van Oldruitenborgh. Toutenburg zelf bleef echter onverkocht totdat Douairière van Heerdt, geboren Anna Lucia van Haersolte als beneficiaire erfgename van Rutger van Haersolte – overleden in 1786 - op 11 april 1787 de Toutenburg voor f 3200 overdeed aan Jan Arend de Vos van Steenwijk tot Nijerwal – de ‘achterbuurman’ - voor afbraak. In 1787 is er al sprake van verkoop van stenen voor reparaties aan de Grote Kerk. Kort daarna werd Arend Sloet baron tot Tweenijenhuizen eigenaar.  Deze woonde in 1748 bij zijn oom Ph. G. van Echten op Oldruitenborgh, en huwde in 1755 met een vermogende weduwe uit Steenwijk. Haar geld stelde Arend in staat een compleet landgoed samen te stellen rond zijn havezate Oldruitenborg. In 1766 trouwde hij opnieuw, en zijn tweede vrouw hertrouwde na zijn overlijden in 1789 met huisvriend / advocaat Mr. Willem de Lille. Deze zorgde voor de verdeling van Arends erfenis, maar gebruikte zelf stenen van de Toutenburg voor het opknappen van de havezate Ter Heyl, gemeente Roden, waar hij met zijn vrouw ging wonen. Prof. Dr. Jac. de Rhoer, een tijdgenoot, schrijft in zijn geschiedenis van Drenthe dat van de afbraak van Toutenburg ook is gebouwd een "nieuw Toutenburg" aan de weg van Roden naar Nietap, in de buurt van Ter Heijl.

Wat er toen nog stond van de Toutenburg liet hij verder afbreken en van de materialen het tegenwoordige Oldruitenborgh verbouwen. Bij de afbraak vond men drie nissen in een muur, waarin sporen van menselijke geraamten.

In 1790 werden de Toutenburgse goederen in hun geheel toegescheiden aan Arends tweede zoon Anthony, die ook Oldruitenborgh kreeg. De restanten van de Toutenburg werden door de nieuwe eigenaar niet geheel en al afgebroken, maar juist welbewust als bouwval behouden. Het was in die tijd modern om tuinen te voorzien van romantische stofferingen, bijvoorbeeld in de vorm van kapellen of ruines. De ruïne vormde zo een 'follie' in het nieuwe landgoed Oldruitenborgh, ingericht in Engelse stijl.

De plek waar Toutenburg eertijds stond bleef in het bezit van de eigenaren van Oldruitenborgh, totdat deze bezitting bij raadsbesluit van 17 februari en notariële akte van 30 september 1947 eigendom werd van de gemeente.

Ten noordoosten van de ruïne van Toutenburg ligt de (oude) Molenberg. Op de gravure van de Toutenburg uit 1617 door Visscher is ook de molen te zien. De molen, reeds sedert 1465 eigendom van de stad, stond op een verhoging tussen de Landpoort en de gracht van de Toutenburg. Omstreeks 1647 schijnt de molen gesloopt te zijn. Mogelijk zijn onderdelen gebruikt voor de bouw van de nieuwe stadsmolen op het noorderbastion van de stad. De verhoging maakt nu deel uit als 'berg' van het park en landgoed Oldruitenborgh.
In 1759 werd door L. A. Sloet tot Plattenburg aangekocht een gedeelte van een stukje weiland, waaraan ten oosten de oude Molenberg, ten westen de havezate Nijerwal, ten zuiden de gracht van Toutenburg en ten noorden de Achtersteeg (Groenestraat).

In oktober 1953 werd bij wijze van werkverschaffing de slotgracht uitgebaggerd en aan de zuidkant van het eiland is een gedeelte muur voor de dag gekomen. Onbekend is of toen ook foto's zijn gemaakt of opmetingen gedaan. De grachten rondom de ruïne werden in 1977 opnieuw uitgebaggerd en nu van een beschoeiing voorzien.Tijdens de werkzaamheden stuitte men op de resten van de houten ophaalbrug van het slot. Bij het uitbaggeren van de gracht werd de windvaan van de Toutenburg gevonden, met het wapen van Van Haersolte. Deze windvaan hangt nu in het Stadsmuseum.

De ruïne, na zijn tweede leven als 'follie', deed  vanaf 1954 tot 2010 dienst als decor van ren openluchttheater. De ruïne is inmiddels ook al meerdere malen gerestaureerd. Het boogje tussen beide torenresten bijvoorbeeld is opnieuw aangebracht in 1954, voor de opening van het openluchttheater in het kader van de viering van 600 jaar Stad Vollenhove.

Van het gehele indrukwekkende complex zijn nog slechts de armzalige resten van de twee het poortgebouw flankerende torens overgebleven. Daarin overigens wel enkele interessante details, zoals de natuurstenen elementen met de gaten waardoor de kettingen  van de ophaalbrug liepen, en een scharnierpunt voor de poortdeur. De noordelijke toren heeft nog een gemetseld koepelgewelfje, de drie schietgaten zijn inmiddels dichtgemaakt. Ook in de zuidelijke toren is zo'n gewelfje aanwezig geweest, getuige de overblijfselen van de aanzetten hiervan. 
In de twee ronde bakstenen gedeelten van torens bevinden zich kanonkelders. Overblijfselen van dergelijke kelders, die vooral wat het systeem van rookafvoer betreft met deze overeenkomen, zijn te vinden in Elburg.

De muurdikte blijkt slechts 0,90 m te zijn, een belangrijke aanwijzing dat hier inderdaad van een coulissenkasteel sprake is geweest. De torens hebben zandstenen waterlijsten. Het steenformaat is opmerkelijk klein: 22 x 10 x 6 cm.

Voor het maken van een overgang van de ruïne naar het houten plankier is (vermoedelijk in 1954) op korte afstand van de noordelijke poorttoren een ontgraving verricht, waarbij een gemetselde waterput tevoorschijn is gekomen, die een doorsnede heeft van 3,90 m. Ook hier hetzelfde steenformaat als bij de torens. Op de bodem van deze put bevindt zich turf. Vermoedelijk is deze put, toen nog in een kelder, gebruikt in het begin 20e eeuw voor het bewaren van blokken ijs, die uit de gracht waren gehakt, ten behoeve van de ijskast op Oldruitenborgh. Verder zijn er nog een gedeelte van de buitenmuur en een overwelfde gang met het poortje, dat vroeger op de gracht uitkwam, ontdekt. Het nog volledig bestaande, omgrachte vierkante burchtterrein (omvang plm. 50 x 50 meter) is bezaaid met van het slot afkomstige stenen, leistenen van het dak en brokken metselwerk.

Ook het hoveniershuis van de Toutenburg bestaat nog en wordt nog steeds bewoond. Dit huisje, gebouwd in 1703 (al doet de gevelsteen Anno 1730 anders vermoeden), ligt aan de Laan van Toutenburg. Jonker Tony Sloet, de laatste particuliere bewoner van Oldruitenborgh, heeft er vele jaren gewoond (vanaf 1947), aanvankelijk met zijn huishoudster Geertien.
Rond het witte tuinmanshuis bloeien in het voorjaar duizenden sneeuwklokjes en wat later in de tijd ziet het er violet van voorjaarshelmbloem en holwortel, of zoals de Vollenhovenaar zegt: 'hanen en kippen'. De Laan van Toutenburgh die met zijn knoestige leilinden achter het huidige landgoed langs loopt, wordt terecht aangemerkt als één van de mooiste lanen in Overijssel en heeft op foto's al menige kalender gesierd. Waar leerde Leentje Lotje ook al weer lopen? Precies! Het zou deze lange lindenlaan geweest kunnen zijn.

Legenden over de onderaardse gangen

Er ging een verhaal, dat men indertijd in een onderaardse gang bij of in de ruïne een brandende kaars aan een touw had laten zakken, die door de opstijgende lucht was uitgegaan. De familie Sloet had de kelders waar die gang in uitkwam begin van de twintigste eeuw in gebruik voor het bewaren van ijs. Maar toen de boterfabriek ijs op andere wijze ging maken werd de kelder waar de gang in uitkwam, dichtgegooid.

In 1944, tijdens de oorlog, kwam er een mevrouw Klein Sprokkelhorst op Toutenburg om te zien of er ook onderaardse gewelven waren, om als schuilkelders voor de bevolking van Vollenhove te worden ingericht. Zij wees met de wichelroede een gang aan naar de Bagijnekamp waar het klooster Clarenberg heeft gestaan en beweerde dat er ook gangen liepen naar St. Jansklooster en de Kleine Kerk in de stad. Daarvan is tot dusver niets gebleken. Bij de opgravingen op de Bagijnekamp, voor de bouw van Nieuw Clarenberg, kon deze legende definitief naar het rijk der fabelen worden verwezen. Mogelijk bedoelden diverse getuigen die spraken van een gang waarin ze als jongen een eind konden kruipen (tot 50 meter toe!) op gangen tussen de keldergewelven van de drie huizen en de bediendenwoningen, die mogelijk op die manier met elkaar in verbinding stonden.

De naam van het kasteel leeft nog voort in de toneelvereniging "de Toutenburgers", opgericht in 1946. Verder in de multifunctionele accommodatie 'de Burght', en uiteraard in de naam 'Laan van Toutenburg' die de afscheiding vormt van het huidige landgoed Oldruitenborgh en de Bentpolder.

De geschiedenis in romanvorm en legenden rond de Toutenburg werden meermalen beschreven, o.a. door G. van Heerde in de "Strijd om de Toutenburg" (speelt begin 14e eeuw) en de "Rode marskramer".

Vollenhovenaren Roel Zwiers en Henk Dikken voltooiden in september 2011 hun tweede meesterwerk, na een maquette van het voormalige Oldehuis maakten zij ook een model van de Toutenburg op schaal 1:60. Beide maquettes zijn te zien in het Stadsmuseum.

Samenvatting: bewoners van de Toutenburg

De Toutenburg bestond eigenlijk uit drie adellijke woonhuizen, omgeven door enkele gemeenschappelijke gebouwen zoals een bakhuis, brouwhuis, secreet en poorthuis met bediendenwoningen. We noemen ze verder het middenhuis, het noorderhuis en het zuiderhuis. Ze hebben vermoedelijk elk vier vuurplaatsen.

Georg Schenck (1480-1540) zal met zijn gezin het middenhuis hebben bewoond. De beide andere huizen hebben mogelijk gediend als gastenverblijf, o.a. voor de Vrouwen van Jever die er langere tijd in ballingschap hebben gewoond, en voor de rentmeester.

Na de gerechtelijke toedeling in 1581 aan de zoons van nichtje Anna Schenck zijn deze er vermoedelijk snel gaan wonen, maar nadat de Staatse troepen van Norris cq Sonoy er uit waren, in 1581 of 1582.

Zuiderhuis.

Joachim van den Boetzelaar (1550-1625) woonde hier met zijn vrouw en zoons Rutger en Willem Jurriaan. Rutger (1578-1668) trouwde in 1630 en verhuisde in 1637 naar Batinge bij Dwingelo, ook uit het erfdeel van Schenck.

Willem Jurriaan (1597-1652) trouwde in 1623 en ging vermoedelijk  kort na 1635 op Westerholt wonen, waarvan hij in 1639 wordt verschreven. Zijn zoon Joachim (1624-?) woonde in 1649 op Westerholt maar verhuisde in 1663 ook naar Dwingelo. Zijn dochter Elisabeth (1627-?) trouwde in 1647 en verhuisde naar Ruinen.

Het lijkt er dus op dat vanaf 1637 dit huis onbewoond was.

In 1675 zijn de vier vuurplaatsen, waarvoor belasting moest worden betaald, vervallen.

Noorderhuis

Hier woonde Steven van den Boetzelaar (1554 – voor 1619) met zijn gezin.

Zoon Rutger (1593-1671) trouwde in 1619. Vermoedelijk ging hij toen in het middenhuis wonen, dat toen vrij kwam.

Dochter Johanna (1599-voor 1637) trouwde in 1625 met Thomas van Lawick, een militair. Hij verhuisde in 1641 als weduwnaar naar Breda.

Ook dit huis lijkt dan onbewoond. Maar uit de memoires van pastoor Waaijer blijkt dat hier jonker Egbert Morre (1617-1676) woonde, mogelijk vanaf kort na zijn huwelijk (1643) met de adellijke Aleid van Haersolte uit Kampen.

In 1682 lijken hier nog 3 vuurplaatsen intact.

Wellicht verbleef Rutger van Haersolte (1642-1703) na zijn huwelijk in 1671 hier regelmatig (hij woonde ook in Deventer en Zwolle) vanaf 1676, tot hij in 1691 na het overlijden van zijn vader het middenhuis kon betrekken.

Vanaf 1692-1701 woonde hier vermoedelijk Anthony van Haersolte tot Elsen, een verwant, die toen drost van Vollenhove was. En daarna mogelijk Rutgers zoon Ernst, toen broer Rutger Zwier na zijn huwelijk het middenhuis betrok. Vanaf 1712 staat ook dit huis dan leeg. Zo wordt het in 1729 of 1730 dan getekend door de tekenaars Pronk en De Haen.

Middenhuis.

Oswalt van den Boetzelaer (1556-1627) woonde hier met zijn gezin.

Zoon Willem (1580-1646) woonde hier ook met zijn gezin, hij trouwde in 1613 maar vertrok na de geboorte van zijn vijfde kind in 1619 naar ’s Heerenberg, vermoedelijk naar het stamslot van de familie. Zus Anna (1584-1650) ging na haar huwelijk in 1612 naar Amerongen. NB: zij hield van 1607 tot 1611 een ‘album amicorum’ bij met bijdragen van diverse gasten op de Toutenburg, waaronder een prinses van Oranje, zie Het vriendenboek van Anna op de Toutenburg (1611)

Vermoedelijk is in 1619 Rutger van den Boetzelaer vanuit het noorderhuis hier komen wonen met zijn gezin. Dochter Ernestina (1619-1684) trouwde er met Anthony van Haersolte (?-1691) in 1640.

Hun zoon Rutger (1642-1703) woonde vanaf zijn huwelijk in 1671 niet permanent maar wel vaak in Vollenhove, is van 1689-1692 gildemeester van het St. Anthoniusgilde waarvan hij in 1664 broeder was geworden zoals gebruikelijk bij de jonkers in Vollenhove. Misschien maakte hij gebruik van het noordhuis tot het overlijden van zijn vader in 1691. Zoon Ernst (1673-1712) woonde vermoedelijk in het noorderhuis van 1693 tot 1712, andere zoon Rutger Zwier (1675-?) woonde mogelijk in het middenhuis met zijn echtgenote vanaf het huwelijk in 1700 tot haar dood in 1729.

Hun zoon Rutger (1705-1786) was de laatste bewoner.

In 1748 woonde Van Haersolte nog met zijn vrouw Anna Elisabeth van Haersolte op de Toutenburg, met zijn zusters Geertruid (1703-1772, ongehuwd, stiftsjuffer Zwartewaterklooster) en Anna Elizabeth (voor 1708 – 1774, ongehuwd, kloosterjuffer Almelo), en als personeel David Keller (hovenier, 1725-1764), Pieter Leusink, Willem Assies, Ytje Bos, Geertje Vermeers en Grietje Sonsbach.

Kort daarna moet hij zich definitief op Haerst hebben gevestigd om slechts zo nu en dan op de Toutenburg te verblijven.

In 1756 staat het in de krant te koop, zie Havezaten in Vollenhove te huur en te koop