Het geslacht Van Haersolte heeft een binding met Vollenhove door de Toutenburg, in hun bezit van 1639 tot 1787. Het gaat om vier generaties, die niet allemaal evenveel op de Toutenburgh zelf woonden, maar meestal op de havezate Herxen, even ten zuiden van Zwolle, welk goed in 1641 werd verworven (inmiddels verdwenen).
Het kasteel Toutenburg kwam in het geslacht Van Haersolte door het huwelijk in 1639 van Ernestina, kleindochter van Steven van den Boetzelaer tot Toutenburg met Antonie van Haersolte. Door het kinderloos overlijden van Anthony's zoon Sweer of Zweder in 1674 kwam Toutenburg aan zijn broer Rutger van Haersolte van Herxen (1642-1703), van Toutenburg verschreven in 1696. Van Haersolte werd in 1666 al vanwege de havezate Herxen onder Wijhe in de Ridderschap van Overijssel verschreven. In 1677 gebeurde dit vanwege Paaslo en in 1696 dus vanwege Toutenburg. In 1677/1678 was hij lid van de Gedeputeerde Staten van Overijssel, welke functie hij in 1678 verwisselde voor die van landrentmeester van Vollenhove tot 1695. Als eerste van zijn geslacht voerde hij twee griffioenen als schildhouders van het familiewapen.
Omstreeks 1676 werd Toutenburg bewoond door de heer van Hercksen: Rutger van Haersolte tot Herxen met vrouw, 3 kinderen, knecht, één jongen en 3 meiden. Hij legde in de functie van landrentmeester van Vollenhove op 31 mei 1678 de eerste steen van de kerk te Kuinre. Van Haersolte gebruikte de Toutenburg alleen als woning als hij voor zijn functie van landrentmeester van Vollenhove in Vollenhove moest zijn. In 1671 was Van Haersolte met Geertruid van Ittersum gehuwd, die in 1681 te Vollenhove in de kraam overleed. Hijzelf overleed in 1703.
Rutgers broer Ernst werd in 1705 van Toutenburg verschreven.
In 1712 volgde Rutger Zwier van Haersolte tot Herxen, die in 1712 de havezaten Toutenburg en Paaslo erfde vanwege de wilsbeschikking van zijn grootmoeder Ernestina van den Boetzelaer, na het overlijden van zijn oom Ernst .
Deze Rutger Zwier van Haersolte volgde een militaire loopbaan. Zijn grote bezittingen, ter waarde van ruim 100.000 gulden, zouden het hem mogelijk moeten hebben gemaakt op grote voet te leven, maar hij werd voortdurend door schuldeisers achtervolgd. In 1700 was hij met zijn verwante Ernestine van Haersolte tot Hoenlo gehuwd, die in 1729 stierf. Daarna woonde hij voornamelijk op havezate Haerst (tussen Zwolle en Genne) en liet hij deToutenburg over aan zijn zoon Rutger.
Zoon Rutger werd na de dood van zijn vader in 1744 ook met havezate Haerst beleend. In 1748 woonde Van Haersolte nog met zijn vrouw Anna Elisabeth van Haersolte op deToutenburg, twee verwanten en drie meiden en knechten. Kort daarna moet hij zich definitief op Haerst hebben gevestigd om slechts zo nu en dan op de Toutenburg te verblijven.
Toutenburg bleef in het geslacht Haersolte totdat Douairière van Heerdt, geboren Anna Lucia van Haersolte als beneficiaire erfgename van Rutger van Haersolte op 11 april 1787 de Toutenburg voor f 3200 verkocht aan Jan Arend de Vos van Steenwijk tot Nijerwal.
De windvaan van de Toutenburg, met het wapen van Van Haersolte, is gevonden bij het uitbaggeren van de slotgracht in 1977, en hangt in het Stadsmuseum in Vollenhove.
Voor zijn verschrijving hanteerde Rutger van Haersolte van Herxsen (1642 - 1703) bijgaande opzweringsstaat met vier kwartieren als lid van de Duitse Orde, balije Utrecht, uit 1685.
