到了北周时期，苏绰的爵位被儿子苏威继承。在这里我们有必要提出在《隋书》和《周书》两部史书中的一个现象。在《隋书》中，苏威的爵位被写成了“周太祖时，袭爵美阳县公，仕郡功曹。”从伯到公，我们发现苏绰的爵位提高了一个档次。而在《周书·苏绰传》中，则将苏威的爵位写成“威少有父风，袭爵美阳伯。”为什么苏威的爵位时而被写成“公”时而又被写成“伯”呢？《周书》为我们解答这个问题提供了一条线索：
隋开皇初，以绰著名前代，乃下诏曰：“昔汉高钦无忌之义，魏武挹子干之风，前代明贤，后王斯重。魏故度支尚书、美阳伯苏绰，文雅政事，遗迹可称。展力前王；垂声著绩。宜开土宇，用旌善人。”于是追封邳国公，邑二千户。
可见隋文帝杨坚因苏绰功绩卓著，又为他追加了“邳国公”的爵位，这样苏绰的爵位就不再限于“伯”了。如果按照这样的逻辑推理下去，《隋书》中称苏绰是“美阳县公”也无可厚非，而《周书》中称“美阳伯”也是据实说话，两者产生区别的原因就在于《隋书》是记隋朝之事，“公”的爵位正是在隋朝追加的，而《周书》只记北周之事，彼时尚未有“公”的爵位，故不记。《隋书》和《周书》的编者都是唐朝人，可见唐朝的史官们在这些细节上的着笔相当谨慎，应是多下了一番功夫的。
公元556年，宇文泰病逝，他的侄子宇文护接其位，继续把持着西魏政权，并于第二年逼迫西魏恭帝拓跋廓禅位，由宇文泰之子宇文觉继位，建立北周。这样一来，宇文护彻底将政权收归到宇文家族手中。北周初年，虽然帝位仍是宇文觉来坐，但实际掌权者仍然是宇文护。宇文护心里清楚，当年西魏能迅速崛起，与苏绰的功劳是分不开的，苏氏一门对宇文家族的贡献功若丘山，所以宇文护一直试图拉拢苏威继续为自己服务。《隋书》记载：“大冢宰宇文护见而礼之，以其女新兴主妻焉。”宇文护不仅以礼相待，而且把自己的女儿新兴公主宇文氏嫁给了苏威，这已是相当高的礼遇了。苏威承袭父爵，虽非同朝，但毕竟其效力对象仍然是宇文家族，再加上他收受了如此厚重的礼物，所以就算苏威为宇文护尽心尽力也无可厚非。那么苏威有没有这样做呢？一开始应当是有的，不过后来就不同了——苏威发现宇文护有专权之心，野心勃勃，担心自己如果成为他的党羽，日后宇文护倒台的话必受牵连，所以毅然离开北周政府，回归山野，读书享乐。后来的事实证明，苏威的判断是正确的。宇文护骄横跋扈，目中无人，接连害死宇文觉、拓跋廓、宇文毓三位皇帝，权倾朝野，直到武帝宇文邕继位，才于公元572年设计诛杀了宇文护。北周武帝宇文邕是个励精图治的皇帝，他一直没忘苏氏一门对北周政府的贡献，于是又派人去请在山中隐居的苏威。宇文护已死，苏威总该安心出仕了吧？结果仍然没有，对于宇文邕给的种种封赏，苏威全部托病拒绝了。
我们从苏威早年所经历的这些事件中，可以总结出他的三个特点。第一，处事灵活。宇文家族对苏氏非常器重，苏绰在为宇文泰服务的过程中如鱼得水，自己的才能被充分发掘，这其实是有特别原因在其中的。宇文泰初入中原，对于如何治理一个封建政权一窍不通，他非常需要苏绰这样的汉人，而到了宇文护掌权时，这样的需求显然就没有那么强烈了。苏威当然能看得出来，他父亲在宇文泰手里能得到的他在宇文护手里不一定能得到，就算能得到，也很有可能是暂时的。在这一点上，他没有选择步父亲的老路，而是具体分析了当前情况后，做出了隐退的决定。第二，眼光泰有雄心，而宇文护的雄心已经异化成了野心，历朝历代的权臣，命运几乎如出一辙，或被废或被杀，难得善终。权臣的党羽自然也难逃厄运，苏威年纪轻轻就观察到了这一点，所以就算宇文护把女儿嫁给他，他也坚决不为宇文护服务。第三，重节清高。我们会注意到一个很有意思的细节，那就是苏威接受了宇文护的女儿。既然接受了宇文氏，就等于默许了宇文护的礼物，礼收了却没办事，这是不是代表着苏威的道德有问题呢？笔者认为不然。苏威娶了宇文护的女儿，仍然拒绝为北周政府服务，恰恰说明他内心已经坚定了不为宇文护做事的想法。换句话说，在苏威看来，不出仕不是因为礼金多少或是其他原因，而是宇文护其人根本就不值得自己去辅佐。这就是苏威内心的清高自赏。曾国藩曾经说过一句名言：
士有三不斗：毋与君子斗名，毋与小人