Vinaminni reisti Sigríður Einarsdóttir sem ólst upp í Brekkubæ, eins og segir í þessari kersknisvísu:
Sigríður dóttir hjóna í Brekkubæ
sú kann að gera skóna
ha ha ha hæ
eintómar rosabullur
ha ha ha hæ
alltaf er Gvendur fullur í Brekkubæ
Sigríður var gift Eiríki Magnússyni bókaverði í Cambridge og mun hafa safnað fyrir byggingu hússins í nokkur ár með því að sýna og selja íslenskt handverk víða erlendis. Hún fékk svo enska smiði til að reisa húsið eftir breskri teikningu.
Sigríður stofnaði kvennaskóla í Vinaminni sem tók til starfa árið 1891, en starfaði stutt. Bæði Verzunarskólinn og Iðnskólinn hófu starfsemi sína í þessu húsi. Árið 1895 tók Einar Benediktsson herbergi á leigu í Vinaminni og hafði þar skrifstofuaðstöðu í mörg ár. Frá 1909-1915 hafði Ásgrímur Jónsson listmálari aðstöðu í húsinu og hélt þar málverkasýningar.
