Grjótaþorpið er nefnt eftir bæ sem nefndist Grjóti. Fyrir norðan bæinn var Grjótatún. Þegar farið var að byggja Dómkirkjuna var grjótið til hennar rifið upp úr Grjótatúni og túnið þannig ónýtt. Þá komu þar kálgarðar. Á uppdrættinum er bærinn Grjóti lengst til hægri, í brekkunni fyrir ofan Innréttingarnar við Aðalstræti.