第三大困难，李密问题。虽然李密的瓦岗军在洛阳与王世充相持不下，但李渊还是担心李密会突然回军，杀向太原，所以决定像拖住突厥那样也拖住李密。于是李渊致书李密，欲结盟军。大家都知道小说中的李密是个对权力近乎疯狂的人，正史上也是如此。他知道自己率领的瓦岗军在众多起义军中是实力最为强劲的一支，但是好汉难敌四手，他同样知道自己迫切需要其他义军的帮助，而他自己，应是这支反隋集团军的盟主。所以李密收到李渊的书信后，立刻让祖君彦给他回了一封信，表明自己要当义军盟主的意愿：
与兄派流虽异，根系本同。自唯虚薄，为四海英雄共推盟主。所望左提右挈，勠力同心，执子婴于咸阳，殪商辛于牧野，岂不盛哉！
李密真是心机颇深，标榜自己的宏图大志之前还不忘与李渊寻寻亲（两人都是关陇贵族集团出身）。书信写就，使者将其送到了李渊手中，临走时，还不忘加一句：“我们李大人希望您能亲自前来，面结盟约。”李渊微微一笑，送走使者后，他拆开李密的回信，看着看着不禁哈哈大笑：“想不到李密竟然如此骄傲自大。我应当继续以谦卑之词示弱以助长其志，让他彻底放下对我的戒备，我才能一心一意西征，到时候等李密与王世充打得两败俱伤，我再坐收渔翁之利。”想到这里，李渊让一个叫温大雅的文臣写了一封回信：
吾虽庸劣，幸承余绪，出为八使，入典六屯，颠而不扶，通贤所责。所以大会义兵，和亲北狄，共匡天下，志在尊隋。天生民，必有司牧，当今为牧，非子而谁！老夫年逾知命，愿不及此。欣戴大弟，攀鳞附翼，唯弟早膺图，以宁兆民！宗盟之长，属籍见容，复封于唐，斯荣足矣。殪商辛于牧野，所不忍言；执子婴于咸阳，未敢闻命。汾晋左右，尚须安辑；盟津之会，未暇卜期。
温大雅是隋末唐初著名的史学家，他有一部非常重要的作品——《大唐创业起居注》，主要记载了李渊从太原起兵到长安登基这段时间内发生的事，是研究唐朝开国的重要史料，他本人也是李渊和李世民不可或缺的“笔杆子”。在这封回信中，李渊向李密表示：“治理天下，安定万方，执子婴于咸阳，殪商辛于牧野，是您这种大英雄做的事，我做不了，我能做的，就是安安心心做一个臣子。待您事成，我只请求得到原封地，此生无憾了。至于结盟一事，太原一带还有太多事情要处理，先暂且缓一缓吧。”李密哪里需要李渊真的前来与他会盟，他最看重的是李渊回信的前半段夸他的话。所以李密得书大喜，遍示群僚：“唐公见推，天下不足定矣！”李渊用自己的隐忍与退让成功骗取了瓦岗军的信任，解除了来自南面的威胁，李密问题得到解决。
第四大困难，流言问题。大军行进不久，遭遇隋将宋老生的部队和屈突通的部队，三军对垒。李渊因难以取胜，便派刘文静再次前往突厥，向始毕可汗请求援兵。偏偏在这时，李渊突然接到消息：突厥联合刘武周，准备进攻太原。当时天降大雨，粮草吃紧，刘文静也迟迟不见消息，一切不确定的因素瞬间降临，让李渊觉得这个消息很有可能是真的。李渊行事一向谨慎，听闻太原危急，赶紧下令军队撤退，先救太原。如果李渊的军队就此撤回去的话，那么李渊的此次西征将正式宣告失败。李世民和李建成最先反对，两个年轻人血气方刚，来劝李渊：“现在正值秋收，遍地都是粮食，还愁吃喝吗？宋老生是狂傲之徒，孩儿一战可破！您当初立誓要救苍生于水火，解百姓于倒悬，现在岂可因遭遇小敌而废天下之志？如果我等撤军回到太原，龟缩不前，能自保多久呢？！”李渊不听，坚持要撤军。李世民准备再谏，但当时天色已晚，李渊拂袖而入，卧床便睡。李世民没有办法，在帐外嚎啕大哭。一个英雄，就要有这种能屈能伸的品质。李渊实在被吵得睡不着了，便把李世民召入帐中：“堂堂男儿，为何无故哭泣！”李世民略收一收眼泪，啜泣着说：“现如今我军向前奋力一战便可取胜，若胆怯后退，士气必然涣散。那时宋老生和屈突通在后一追，我们都要变成刀下之鬼。”李渊看着跪在自己面前的儿子，稚嫩的脸上透露着泪水遮掩不住的坚毅，叹了口气说：“但是现在左军已经撤走一部分了……”李世民一听到“但是”二字，顿时来了精神：“左军刚撤走没多久，一定走不远，待孩儿去把他们追回来。”说罢，世民起身跑出营帐，与大哥李建成追左军去了。李渊凝望着世民远去的身影，那眼神里写满了骄傲与期待。在李世民和李建成的努力下，流言问题也得到了解决。
值得一提的是，《旧唐书·高祖纪》还曾记载：