In de Franse tijd, vanaf 1795-1813 verdween vrij snel de adel als bron van bestaan uit Vollenhove. De visserij werd nu langzamerhand de belangrijkste bron van inkomsten voor Vollenhove. Al in de prehistorie werd er gevist in de diverse kreken die afwaterden op de Vecht, die ten zuiden van de Voorst stroomde - zoals blijkt uit de vondst van een boomstamkano in het Voorsterbos. In de 8e of 9e eeuw werd de keileembult waarop nu Vollenhove ligt al (sporadisch) bewoond door Frankische vissers, zoals de vondst bewijst in 1855 van benen naalden, gemaakt van graten van een steur, op het terrein waar toen het Oldehuis werd gesloopt. Sinds de 15e eeuw werd de visserij beroepsmatig door enkele tientallen vissers uitgeoefend. De visserij op zoetwatervis (eerst steur, later zalm) werd vanwege de verzilting van de Zuiderzee vervangen door zoutwatervis (eerst haring, later ansjovis, garnalen, bot, paling en spiering).

Er was echter geen haven, zelfs de (enige) aanlegsteiger was erg verwaarloosd. De afbraak van het oude bisschoppelijke kasteel leverde een haven (de voormalige slotgracht) en haventerrein op voor de vestiging van prille industriële bedrijven. Vollenhove groeide uit tot een belangrijke vissersplaats aan de Zuiderzee, welke positie nog eens werd versterkt door de komst van enkele tientallen vissers met hun schepen, die gedwongen werden om hun thuisbasis Schokland te verlaten (1859). Acht Schokker families vestigden zich op het eiland in de binnenhaven. De haven werd alras te klein waarop er een nieuwe haven buitendijks werd aangelegd. Met de komst van de Noordoostpolder in 1942 was het afgelopen met de visserij in Vollenhove.