然而，公开招募军队目标太大，况且他现在还受隋炀帝的亲信、太原副留守高君雅、王威的监视和牵制，一旦事发，会带来杀身之祸。为此，李渊要李世民去找刘文静商量对策。经过策划，刘文静便假造诏令：征集太原、西河、雁门、马邑年二十以上、五十以下的男丁为兵，岁末集于涿郡，要开拔去伐辽东。
结果消息传出后， “人隋大扰，思舌睹益众”。他们这样做就是为了鼓动人心，激起人们的反隋情绪，并达到结集队伍的目的，这事发生在大业十三年之初。同年二月，马邑刘武周起兵，杀太守王仁恭，据郡反隋，自封天子，国号“定杨”,并引突厥率兵南攻楼烦，进占汾阳宫，还将进逼太原。
这时，李世民对李渊说： “大人为留守，而盗贼窃据离宫，不早建大计，祸今至矣!”于是，李渊便以讨伐刘武周为借口，召集将佐商议，并说： “朝廷用兵，动止皆禀节度。今贼在数百里内，江都在三千里外，加以道路险要，复有他贼据之，以婴城胶柱之兵，当巨猾豕突之势，必不全矣。进退维谷，何为而可?”面对如此情况，王威等人则说： “公地兼亲贤，同国休戚，若俟奏报，岂及事机；要在平贼，专之可也。”在这种情况下，李渊提出了“先当集兵”的要求。于是，李渊就命李世民与刘文静、长孙顺德、刘弘基等人各募兵，远近的人听说了，十几日之间又来了近万人。