Efst við Grjótagötu norðan megin er Garðastræti 23 eða Vaktarabærinn eins og húsið var kallað. Það var byggt um 1848 af Guðmundi Gissurarsyni sem var vaktari í bænum. Húsið var hluti bæjarhúsanna í Grjóta og það eina sem ennþá stendur. Árið 1881 fæddist Sigvaldi Kaldalóns þarna: foreldrar hans áttu þá húsið.