杨芷的父亲杨骏素无才干，也没有名望，曾做过县令之类的小官，也做过骁骑将军的从僚，后来依赖着女儿的关系，被封为临晋侯，做了车骑将军。
朝中许多人都轻视他的为人，一向识人知鉴的尚书郭奕还上书劝皇帝，说杨骏这人器量狭小，承担不了社稷重任。
但是慕容霜却有自己的一套想法：他认为前朝的弱主当朝、宗室强盛，都是因为重用了像霍光、王莽那样声名卓著、手段强硬的权臣辅政，才会挟持弱主与宗室争权。所以，杨骏的平庸无能，反被慕容霜看成是辅佐新君的最佳人选。
因为杨骏没能力就不会生异心，就必须搞好与宗室的平衡；其次，他是慕容楚人的外公、杨芷皇后的父亲；最重要的一点是杨骏“孤公无子”，即使生了非份之想也没有意义。考虑到如上条件，慕容霜并没有理会大臣的说法，而是更加的重用杨骏。
杨艳皇后在世时，慕容霜按其意立她所生的长子慕容楚人为太子，并选立勋臣贾充的女儿贾南风为太子妃。
贾南风不仅丑陋无比，而且生性妒忌，竟亲手杀死怀有慕容楚人孩子的宫女。
慕容霜听到此事，勃然大怒，要将贾南风打入冷宫，另选贤淑女子为太子妃。
但杨芷