Um 1883 lét Geir Zoëga reisa fiskgeymsluhús og vörugeymsluhús á lóðunum Vesturgata 6 og 8. Árið árið 1954 voru gerðar miklar breytingar á húsunum og þar var rekið veitingahúsið Naustið um langt árabil.
Geir Zoëga átti líka hús hinum megin við götuna og íbúðarhús ofar í brekkunni (Vesturgata 10) og var brekkan þarna almennt kölluð Geirsbrekka. Hann var einn mesti athafnamaður í bænum á sinni tíð, rak umsvifamikla útgerð og fiskverkun, var með verslunarrekstur og gerði sér móttöku ferðamanna að atvinnu.
Til er teikning af Geir sem fylgdarmanni eftir Bayard Taylor, amerískan ferðalang sem kom til Íslands 1862.
