Dat er in zo'n kleine stad als Vollenhove tegelijkertijd twee kastelen stonden, is bijna niet te geloven. De verklaring is dat in feite de stad is ontstaan naast het oudste kasteel, dat in 1165 verrees als residentie in het 'nieuwe' Oversticht, het landsdeel dat de bisschop van Utrecht van de keizer in leen had gekregen. Het bleef eeuwenlang het bestuurscentrum van het latere Overijssel, tot in de 16e eeuw toen de achtereenvolgende stadhouders van keizer Karel V en koning Philips II vanuit hier regeerden. Het andere kasteel werd gebouwd door de eerste stadhouder, Georg Schenck (1480-1540), als persoonlijk onderkomen, in 1521. Beide zijn afgebroken, maar de sporen zijn nog te zien.

 het Oldehuis (1165 - 1825), het kasteel van de bisschoppen van Utrecht in de periode tot 1525

 de Toutenburg, het kasteel van stadhouder Georg Schenck (1480-1540)