几乎是在黄巾起义的同时，黑山军的主要首领张牛角、张燕就已经聚众起事，只不过规模较小，没有引起朝廷的注意。就在杨林平定黄巾，带走冀州的郡国兵之后，黑山军迅速壮大起来。而到现在，黑山军已达万百之众，几乎控制了冀州的中山、常山、赵国，并州的上党等郡，成为了朝廷的心腹之患。
历史上的袁绍虽然控制了冀州，可是一直没有平定黑山军。正是因为袁绍与黑山军、公孙瓒的争斗，使得袁绍无力顾及曹操在黄河以南的崛起，最后败于曹操。
“平定黑山军，不能象平定乐浪、三韩、高句丽那样血腥，黑山军将士毕竟是我们大汉子民。我们要采取军事围剿与政治攻势相结合的办法，一方面大兵压境，威协黑山军的生存，一方面争取民心，分化瓦解，各个击破黑山军。”
黑山军并不是铁板一块，而是分为大大小小的三十几股人马，其中大股的有三、五万人，小股的只有七、八千人，他们各自为政，首领都是相互推举和各部拥奉的。张燕虽然被推为黑山军的大首领，可是他并不能指挥所有的黑山军。
“至于你们担心朝廷怪罪，那就更没有必要了。象何进这种搞法，要不了三、五个月，朝廷必将大乱。到时候，你们就是想让朝廷怪罪，恐怕你们也找不到朝廷到哪里去了？”