Árið 1960 telst vera upphafsár safnsins. Aðalhvatamaðurinn var Haukur Jörundsson, kennari á Hvanneyri, en að safninu stóðu eftirtaldir aðilar: Samband borgfirskra kvenna, Borgfirðingafélagið í Reykjavík, Búnaðarsamband Borgarfjarðar, Ungmennasamband Borgarfjarðar og Kaupfélag Borgfirðinga. Safninu var lengi ekki hugaður fastur staður, en var árin undir 1970 í húsnæði hjá Kaupfélagi Borgfirðinga í Borgarnesi, þá við Egilsgötu. Árið 1970 fékk það samastað á Borgarbraut 61 ásamt Héraðsbókasafninu og Héraðsskjalasafninu. Í maí 1988 fluttu söfnin að Bjarnarbraut 4-6, þar sem þau eru enn í dag. Þar starfa þau í Safnahúsi Borgarfjarðar.
Á safninu eru margir dýrgripir, svo sem flygill barónsins á Hvítárvöllum, baðstofa frá Úlfsstöðum, málverk eftir Collingwood og smíðisgripir Þórðar Jónssonar listasmiðs frá Mófellsstöðum í Skorradal. Á safninu eru alls um 10.000 skráðir munir og hefur söfnun staðið yfir allt frá 6. áratug síðustu aldar. Í upphafstíð var safnað markvisst og árlega berast safninu góðir gripir að frumkvæði velviljaðs fólks. Sjá má nánar í ársskýrslum Safnahúss.
Byggðasafn Borgarfjarðar var eitt fyrstu safna landsins til að öðlast formlega viðurkenningu Safnaráðs Íslands (2013). Allir munir sem safninu hafa borist hin síðari ár eru skráðir í Sarp og unnið er að því að færa eldri skráningar úr kerfinu Filemaker yfir í Sarp. Söfnun er virk. Tekið er við munum samkvæmt ákveðnu verkferli sem lýtur að því að meta hvort viðkomandi hlutur flokkast sem góður og gegn safngripur. Ef svo er ekki raunin er honum hafnað. Munir eru sýndir þegar tækifæri gefst. Safnið getur ekki þegið gjafir sem fylgja kvaðir, og áskilur sér rétt til að afþakka gjafir sem slíkt á við um.