的心腹裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。
太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊要造反，便密谋骗李渊父子到晋祠祈雨，想除掉李氏，向隋炀帝邀功请赏。
不料，这一密谋被李世民安排监视二人的密探晋阳乡长刘世龙获悉，告知了李渊。李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。
这一年秋天，恰巧数万突厥军队进攻晋阳来打秋风，李渊立刻名正言顺地命人将两人推出斩首。
李渊刚刚起兵，在长安的柴绍和妻子一商量，自己先跑回了太原，李秀宁一介女流目标较小，留下迷惑敌人。柴绍在半路碰到了不知发生了什么事，惊慌失措想要落草为寇的李建成和李元吉，将他们劝回太原。
他们回到家中才知道父亲已经起兵造反，兄弟几个都很兴奋，李渊遣李建成、李世民率军攻杀拒命的西河郡丞高德儒。同时，李渊又设下空城计，吓退了突厥的军队。
617年7月，李渊封李建成为陇西公，左领军大都督；李世民为敦煌郡公，右领军大都督；并且和两个儿子约定，先入长安者为世子。接着他又封李元吉为姑藏郡公、镇北将军，太原留守看守大本营。
接着李渊率军三万誓师，在发布的檄文里他斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾；接着以“废昏立明，拥立代王，匡复隋室”的名义正式起兵直趋关中。
李渊兵至贾胡堡，距霍邑五十余里。代王杨侑派虎牙朗将宋老生率领精兵两万人驻防霍邑。八月初三早晨，李渊率军从小路向东南直抵霍邑，听说宋老生在前面驻扎，李渊就面生为难之色对众人道：“这宋老生长的是背阔腰圆，悍壮魁梧，手执一口大砍刀据说受过名人指教；每日必练刀法，此人骁勇不可力敌。”
李世民笑道：“父亲，这宋老生虽然悍勇，但是脾气暴躁我们可以诱其出战，则一鼓可擒。”
李渊从其言和李元霸率领几百名玄甲军在霍邑城东埋伏，派李建成、李世民率领几十骑到城下辱骂宋老生。
宋老生果然中计率军出战，李世民等人见他面如紫茄，黑鼻孔，大耳朵，胸前飘着掺白胡子须，年近花甲，却不显老；正是老当益壮。
李建成脱口赞道：“真是一员大将！”李世民笑道：“大哥，你看看隋朝的这些将军都是追随先皇的老朽匹夫，年青一代却罕有能手，岂有不败之理！看小弟怎么擒他！”说着命令殷开山、马三宝的人带动军队冲上前去厮杀。
李世民与薛万淑率兵驰马而下，冲击宋老生的军阵，攻击宋老生军的背后。
李世民一边攻击一边大喊：“已经抓住宋老生！”顿时隋兵大乱，争奔城门。但门已为李建成率部夺占，宋老生不得入，只得带人绕城而走，结果遇到了埋伏在这里的李渊等人。
李元霸一马飞出三锤就砸死了宋老生，霍邑的隋军一看主将已死，，全部放下兵器投降。李渊很顺利的攻下霍邑，打开了进入关中的道路。
李渊军攻取霍邑后，沿汾水南下，占临汾，克绛郡，于十五日进至龙门。宋老生一死关中的大将就剩下了长安留守屈突通；杨侑没有办法只好让屈突通率领关中的大部分援军前去抵挡。
屈突通率军数万屯守河东，准备阻止李渊军入关；李世民招抚关中农民军首领孙华得军数万，李渊的势力突然暴增。就在这个时候一个天大的好消息突然传来，本来大家认为在长安凶多吉少的李秀宁，突然归来。
李秀宁在长安招抚了李神通、潘仁、李仲文、向善志、丘师利等关中义军队伍