曾祖父道衡(540—609)，字玄卿，隋内史侍郎，为当时名士，不仅以诗著名，有“才杰”之誉，书法也见称于史，《宣和书谱》记其《和南》正书，“非泯泯众人之笔也”，参其书有《尔朱敞碑》(开皇五年十月)，当也是一位善书人。
　　祖父薛收(592--624)，字伯褒，隋名儒王通的及门弟子，为“河东三凤”之一，史称薛收为长离，其族兄德音为鸑鷟，侄元敬最年少，为鹓雏。入唐，以文学受知于秦王李世民，官至天策府记室，兼任弘文馆学士。
　　父薛振(622—683)，字元超，以字行，袭爵汾阴男，尚和静县主，官至中书令。以荐引寒士、奖掖后进为一代文宗，唐初文士大都出自他的门下，诸如文坛四杰之一杨炯、文章四友之一崔融，都是由于他的引荐而声名天下的。