De oude of binnenhaven werd als nieuwe vissershaven aangelegd in 1823 in de slotgracht van het Oldehuis, het voormalige bisschoppelijke kasteel. Een deel van het terrein werd later afgegraven zodat een ruime open plek ontstond voor de groeiende vloot die uiteindelijk de grootste (in aantal) aan de oostaknd van de zuiderzee zou worden.
In het begin van de negentiende eeuw was de visserij, na het verdwijnen van de adel, de belangrijkste inkomstenbron voor Vollenhove geworden. De vissers ontbeerden echter een deugdelijke haven: ze lagen daarvoor op de rede, bij de stadsbrug (steiger) en later in een vluchthaven bij de Vismarkt (zie bij buitenhaven). Er werd gezocht naar financiering middels subsidies van Rijk (f 700) en Provincie, en via intekening bij stadgenoten (de stadbode werd in 1824 rondgestuurd om het geld op te halen). De gemeenteraad besloot op 26 mei 1823 het graven van de haven aan te besteden. Uit de raadsvergadering van 2 juni blijkt dat daarvoor grond was aangekocht vanaf de poort van het Oude Huis tot de palen rechtuit. Tevens werd besloten tot het uitdiepen en verbreden van de gracht van het Oude Huis ('t Oldehuys). De bomen van het Joodse kerkhof werden verkocht, op die plek kwam later een turfmarkt - de turfschepen losten hier hun lading. Hier moest geld voor worden betaald, evenals liggeld voor de vissersschepen. Het ophalen daarvan werd verpacht.
In 1825 moesten er al veel herstellingen plaatsvinden vanwege de overstromingen, aan haven en aan strand. De wal onder de brug moest worden gerepareerd door timmerman E.P. Seidel. In 1826 werd de haven uitgediept, in 1827 werd beschoeiing hersteld. In 1828 moest een gat aan de westkant worden dichtgemaakt en werd modder afgevoerd. In 1830 werd er een muur gemetseld tegen het eiland waar nog een deel van het Oldehuis op stond, toen in gebruik als gevangenis. De brugklep werd aangepast, en opnieuw een ontstaan gat achter de palen aangepakt. In 1834 moest de beschoeiing worden hersteld, en dat ging zo door tot 1850. De kosten waren zo hoog dat opnieuw subsidie werd aangevraagd. In 1853 kwam het verzoek van timmerman Ekker voor het oprichten van een scheepswerf. J. Smit werd opzichter van de haven, en had in 1854 bij de sloop van het Oldehuis de handen vol aan het regelen dat het puin werd afgevoerd. In 1855 kwam er een paalregel, en in 1859 een trap in de muur, gemaakt door Jan van Smirren. Een subsidieaanvraag voor uitbreiding vanwege de komst van de Schokkers werd afgewezen. In 1863 werd de haven opnieuw uitgebaggerd en diverse werkzaamheden uitgevoerd door Hendrik Jan Winters. In 1877 werd de duiker aangelegd voor uitwatering van de Bentpolder via de haven, de 'Bentegracht' (in feite het stuk van de stadsgracht door de Wheeme). En in 1878 kwam er zowaar een straatlantaarn.
In 1882 werd na een roep om verbetering een commissie ingesteld. Dat leidde tot aankoop van grond van Jan van Smirren, op het eiland (kavel A461) en een geldlening van f 16.000. In 1884 / 1885 is een groot deel van het eiland, waar het kasteel tot 1854 op stond, vergraven ter vergroting van de binnenhaven (de Kom). Van het aanvankelijk ronde eiland bleef een halve maan over. In dezelfde tijd werd een begin gemaakt met verbeteren van de veiligheid buiten de haven vanwege de stormramp in 1884 waarbij vissersschuiten langs de lage strekdam waren losgeslagen. De werkzaamheden duurden kennelijk lang, want de aannemer werd aangemaand in 1886 en in 1894. In 1899 verzocht men het Rijk om de haven over te nemen, maar dit werd afgewezen.
In 1900 waren er opnieuw uitbreidingsplannen. De discussies duurden tot 1905, maar uiteindelijk werd er grond gekocht van het Waterschap en een lening van f 17.000 aangegaan. Er kwam door inzet van de aannemers M.A. Sonsma en N.H. van Meekren een nieuw havenhoofd, zo ontstond er een nieuwe haven die in 1912 ook zo werd genoemd (een korte periode werd de naam 'voorhaven' gebruikt). De vissersschepen moesten o.a. in 1908 hiervoor uitwijken naar Blokzijl. Klinkers uit de dijkbeschoeiing werden hergebruikt als straatstenen in de Visschersstraat. Er kwamen benzinelantaarns aan de zuidkant van de haven.
Het havenbrugje werd al gebouwd in 1823, toen de opening vanaf de slotgracht naar zee werd gegraven. In 1831 waren er klachten over het ophalen van de brug door baldadige jeugd. De brug werd in 1936 geheel vernieuwd bij de verbreding van de haventoegang. Het hekwerk werd vroeger veel gebruikt voor een praatje van (oud)vissers onder elkaar. Het huidige brugje, vrijwel ongewijzigd, dateert uit de jaren 1980.
De foto, waarop enkele vrouwen bij een groentekar, is genomen vanaf het weggetje tot toegang gaf tot het Fort (de bijnaam van de bevolking voor het oude binnenterrein - officieel Oldehuysplein - op het eiland), richting ophaalbrug over de haveningang, en de al lang verdwenen visafslag. Rechts is de nog bestaande, in 1994 gerestaureerde ansjoviskelder te zien, die werd gebruikt om de vis koel op te slaan (en te laten fermenteren). Een andere kelder bevond zich bij de scheepswerf en doet dienst als sanitaire voorziening voor de leden van de Watersportvereniging die hier hun boot hebben liggen. De kelders waren van binnen bekleed met turfmolm, dat door planken op zijn plaats werd gehouden. Het smeltwater van het ijs voor de koeling liep vroeger onder de deur door, over de smalle kade (plm. 40 cm) zo de haven in. Het ijs werd ’s winters uit de Zuiderzee gehaald.
De haven liep niet helemaal rond (meer), maar versmalde tot 'de Kom' en liep uiteindelijk dood tegen de hellingen van de scheepswerf.
Achter de gebouwen van de scheepswerf kan men op de foto nog de schoorstenen zien van Ruimzeezicht, met de naastgelegen palingrokerij. Een tweede palingrokerij bevond zich in de periode 1922-1979 (sloop in 2010) aan de andere kant van de haven, op de tweede foto aan de rechterkant (oorspronkelijk Van Smirren, jarenlang Jongman, in de jaren 1980 vishandel Kwakman). De economische activiteiten rond de haven waren zodanig belangrijk, dat de stoomtram Zwolle-Blokzijl in 1913 vanaf het station Vollenhove aan de Voorpoort een aftakking van de lijn kreeg die door de Bisschopstraat tot aan de binnenhaven liep. Maar bij het instorten van de zaken van Van Smirren en Van Gulik, en de stroopfabriek, verdween die aftakking alweer in 1920.
Regelmatig werd er geklaagd over de gezonken visserssschuiten, die door de eigenaren gewoon werden achtergelaten in de binnenhaven. Zo lag er in 1901 de schuit van H.A. Jongman, en in 1912 die van D. IJspeerd die naar Lonneker was vertrokken. In 1924 lag er de schuit van W. Konter. Pas in 1906 waren de scheepsregistratienummers ingevoerd zodat men de eigenaren kon opsporen. In 1925 werden de gezonken schuiten opgeruimd. De kademuren waren toen ook al hersteld, nieuwe palen geplaatst, een afrastering rond 'de Bentengracht' aangebracht en zowaar elektrische verlichting gemaakt.
De loswal voor turfschepen werd vooral gebruikt door turfschipper Lassche, er is zelfs nog een filmfragment van.
De haven was slechts een meter diep, en ook de zee was niet erg diep. Bij oostenwind was het vaak niet mogelijk om de haven uit tekomen. Vanwege de aanleg van de Noordoostpolder werd in 1932 besloten een vaargeul te baggeren van 1m 75 diep, en de havens uit te baggeren tot 1 m 20 diep. Ook nu werden veel gezonken schepen opgeruimd en tot brandhout gezaagd (1933). In 1937 was de diepte in de haven al weer terug op 1 meter.
In 1940 werd de haven tijdelijk afgesloten en leeggepompt om de basaltblokken van de kademuren opnieuw (vanaf een lager niveau) op te kunnen metselen. Er kwamen nieuwe betonnen trappen vanaf de kademuur tot boven aan de weg / het pad langs de kerk. De havens werden ook verder uitgediept vanwege het verlagen van het peil van het IJsselmeer. De buitenhaven werd vervolgens drastisch aangepakt en veranderd in een werkhaven voor overslag van goederen naar en uit de Noordoostpolder.
In 1973 werd de toen volledig verwaarloosde haven in oude glorie hersteld en ingericht als passantenhaven - en werd als zodanig gebruikt tot ook de buitenhaven was gerestaureerd en als zodanig in gebruik is genomen. Het terrein van de voormalige scheepswerf werd afgegraven, zodat weer een volledig cirkelvormige gracht ontstond. Op het eiland, bereikbaar via een bruggetje, bevinden zich ondergronds sanitaire voorzieningen. Sinds de binnenhaven volledig wordt gepacht door de plaatselijke watersportvereniging ziet men er geen passanten meer, dus ook geen levendigheid. Die is nu afkomstig van de vele recreatieve fietsers, die langs (en niet door) Vollenhove worden geleid middels een 'fietsknopenroute' en vaak aanleggen op het terras bij Ruimzeezicht.
In 1990 vond men tijdens herstelwerkzaamheden, waarbij de haven opnieuw volledig werd leeggepompt, een oud zandstenen grafmonument, vermoedelijk uit de 11e eeuw (te zien in de Grote of St. Nicolaaskerk). Verder kwam in 1992 de voormalige duiker naar de stadsgracht ter hoogte van de voormalige Voorstpoort te voorschijn. In 1994 werd de ansjoviskelder bij de voormalige visafslag gerestaureerd.
In de hoek Haven / Voorst, bij de voormalige Voorstpoort, moet een kleine Joodse begraafplaats hebben gelegen. Op die plaats is in 2019 een kunstwerk geplaatst dat herinnert aan het Oldehuis.
Hieronder een fraaie foto uit 1915 van de binnenhaven met het 'fort' (populaire naam), de visserswoningen die toen (vanaf 1859) samen het Oldehuysplein (officiële naam) vormden. De visafslag was op dat moment net in aanbouw.
Op de bodem van haven en in het talud werden bij diverse gelegenheden vondsten gedaan uit een (ver) verleden. Zo werden 18e eeuwse pijpekoppen gevonden, vermoedelijk van de dragonders op het fort. Een steen met een mysterieuze inscriptie die op muntslag zou kunnen wijzen. Een deksel van een 13e eeuwse sarcofaag. En een stenen kanonskogel uit de 14e eeuw, wellicht uit de tijd van de belegering van het kasteel dat er eens stond.
