Bjarni starfaði sem hafnsögumaður og stundaði því ekki búskap og var því tómthúsmaður. Eiginkona Bjarna var Þuríður Eyjólfsdóttir. Hún þótti hinn mesti skörungur, stórgáfuð og mikill persónuleiki. Hún var vel að sér í íslenskum fræðum og kunni býsn af ljóðum. Hún safnaði ljóðabókum, sem hún batt inn í gott band. Undir hennar verndarvæng áttu skáld og menntamenn athvarf og því fór oft fram lífleg umræða í Garðhúsum þar sem bókleg mennt var í hávegum höfð og mikið lesið. Eftir að eiginmaður hennar lést flutti hún í viðbyggingu við Garðhús, einlyft timburhús. Það hús var rifið árið 1997.

Hjónin Þorsteinn J. Sveinsson skipstjóri og hafnsögumaður og Kristín Tómasdóttir keyptu Garðhús árið 1903. Eftir að Þorsteinn lést úr spænsku veikinni árið 1918 bjó Kristín áfram í Garðhúsum með börnum þeirra fimm allt til áranna 1941-1942 þegar hún seldi Garðhúsaeignina.