Mary-Kate on David ja Jarnette Olseni kolmas laps; pere esiklaps on Trent Olsen ning teine Ashley Olsen, Mary-Kate'ist paar minutit vanem kaksikode. Lisaks on tal noorem ode Elizabeth Olsen. Kuna Mary-Kate ja Ashley olid lapseeas aravahetamiseni sarnased, on arvatud, et nad on
uhemunarakukaksikud
, kuid tegelikult nad seda ei ole.