Eftir að byggð fór að vaxa í Borgarnesi á síðari hluta 19. aldar varð staðurinn fljótlega samgöngumiðstöð fyrir Vestur- og Norðurland þrátt fyrir að hafnaraðstaða væri mjög bágborin allt fram undir 1930. Flóabátarnir svokölluðu voru í förum á milli Borgarness, Akraness og Reykjavíkur. Er bátarnir komu fylltist allt af fólki í Borgarnesi og þegar umsvifin voru sem mest gekk allt daglegt líf í kauptúninu úr skorðum. Fyrst og fremst voru stundaðir fólks- og vöruflutingar úr Borgarnesi, en framan af var útgerð mjög lítil. Um 1920 var hafinn undirbúningur að gerð hafnar í Borgarnesi. Á 50 ára verslunarafmæli þorpsins árið 1917 hafði Thor Jensen, sem um tíma var kaupmaður í Borgarnesi, og Margrét kona hans ánafnað Borgarnesi stóra peningagjöf og var ákveðið að stofna með henni sjóð til hafnarbóta. Í kjölfarið var skipuð hafnarnefnd og létu sýslunefndir Mýra- og Borgarfjarðarsýslu árlega renna fé í sjóðinn. Alþingi samþykkti lög um hafnargerð í Borgarnesi árið 1926 og sama ár hófst undirbúningur framkvæmdarinnar. Þegar var lagt til að höfn yrði byggð í Brákarey og Brákarsund brúað þannig að samgöngur við hafnarsvæðið yrðu sem greiðastar. Sjálf hafnargerðin hófst árið 1929 og lauk henni árið eftir, en í nóvembermánuði 1930 lagðist skip í fyrsta skipti að hinni nýju bryggju.
Eftir að höfnin var tekin í notkun flæddi ferðamannastraumur um Brákarey, en eftir að vegur var lagður fyrir Hvalfjörð um 1940 dróg verulegu úr fólksflutningum um Borgarneshöfn. Flóabáturinn hélt reyndar áfram ferðum sínum í Borgarnes, en árið 1966 fór Akraborgin sína síðustu föstu áætlunarferð í Borgarnes. Eftir að höfn kom í Borgarnes bundu ýmsir vonir við að útgerð og fiskvinnsla myndu blómstra í kauptúninu. Fljótlega var stofnað útgerðarfélag og keypti félagið skipið Eldborgu sem gert var út á síldveiðar og var eitt fengsælast skip flotans á fjórða og fimmta tug 20. aldar. Um tíma gékk útgerðin vel, en þegar kom fram á sjötta áratuginn var ljóst að draumurinn um að útgerð og fiskvinnsla myndu blómstra um ókomna tíð yrði ekki að verulega í Borgarnesi. Síðan þá hafa aðeins verið gerðir út minni bátar til fiskveiða frá Borgarnesi, en aldrei hafa þeir verið margir. Hins vegar var Borgarneshöfn töluvert notuð sem vöruflutingahöfn og voru fastar áætlunarferðir flutningaskipa í Borgarnes allt fram á níunda áratuginn. Um 1980 var byggður nýr garður við höfnina, örlítið framar á Brákarey en upphaflegi garðurinn. Segja má að stuttu eftir að nýji garðurinn var tekinn í notkun dróg verulega úr sjóflutningu, enda voru samgöngur landleiðina orðnar mun greiðfæri eftir að Borgarfjarðarbrúin var byggð árið 1980. Eftir byggingu Borgarfjarðarbrúar jókst mjög sandburður að höfninni og fram fjörðin sem gerðu allar siglingar erfiðari.
Í dag þjónar Borgarneshöfn fyrst og fremst sem höfn fyrir smábáta og skemmtibát. Fyrirhugaðar eru framkvæmdir við nýja höfn í Borgarnesi á árunum 2008 og 2009. Þær munu styrkja Borgarneshöfn veruleg sem höfn fyrir smábáta og skemmtibáta og mögulega mun Brákarey að nýju iða af lífi og fjöri, líkt og áður var.
