隋炀帝当政时期，对于大臣的猜忌非常严重。当时流传着“李氏当为天子”的逆言，所以很多李姓大臣都惨遭灭门之祸，其中最有名的就是隋炀帝轻信李氏当为天子的蛊惑并竭尽全力诛杀海内李姓之人。皇帝果然大行杀戮，其中右骁卫大将军李浑，门第强盛，深为炀帝所嫉妒，惨遭灭门。

可是唯独唐国公李渊侥幸活了下来，并最终走到了历史的前台。李渊家族本是陇西赫赫有名的大世族其祖父李虎，在西魏时曾官至太尉。是北周的“八柱国”之一，位高权重。李渊的父亲李丽在北周时曾历官御史大夫、安州总管、柱国大将军其母是隋文帝独孤皇后的姐姐，所以人隋之后，李渊深受文帝夫妇器重。文帝时，李渊先是出任禁卫武官千牛备身，后接连出任谯州、陇州、歧州等三州刺史。大业初年，他又先后出任荥阳、楼烦二郡的太守。后被召为殿内少监，大业九年，再迁卫尉少卿。

到了大业末年时，由于内乱丛生、皇帝对于大臣越发猜忌。李渊善于和各方面人士交往，基有威信，自然也在猜忌之列。又有一次，皇帝召见李渊，他居然因为心虚而称病未往，皇帝为此大为恼火。当时，正好李渊的一位王姓外甥在宫里当差，皇帝于是把那外甥叫过来问道。你舅舅怎么这么晚还没来?。王姓外甥说舅舅病了，于是皇帝竟恶狠狠地说道:病了?那他是不是要死啊！李渊得知此事后忐忑不安，深有大祸临头之感。于是便开始纵酒沉湎、不惜自污、又收受贿赂，做出一副很不堪的模样。

就这样，李渊逃过了“李氏当为天子”的逆言活了下来，并且受到了重用，大业十一年四月，李渊被任命为山西、河东慰抚大使，奉命镇压当地反隋义军。他运用诱降、离间等手段、瓦解了不少义军队伍，皇帝开始对他倚重起来。大业十三年(617年)初，李渊又被任命为太原留守，成为一方手握实权的军政长官。一面继续镇压当地义军，一面积极防备突厥的进攻。正是在太原，李渊获得了崛起的资本。掌握军事重地山西，这也是最后李渊发兵起家获得皇位的根基。