周军被皇帝狠批了一顿，老实了不少，又恢复了往常的气势。接连拿下石州（今山西离石）、沁州（今山西沁源）、忻州（今山西忻县），从东、南、北三面将太原城围个水泄不通，刘崇成了“孤家寡人”。

显德元年（公元954年）五月，柴荣率大军北上。柴荣与文武骑马前行，一路上周军马步军纵横成阵，旌旗猎猎，不日兵临太原城下。这时契丹军已经来到忻州附近，柴荣决定围点打援，让符彦卿去收拾契丹人。周军开出忻州城外，摆好阵式，迎接契丹军。

周军先锋史彦超恃勇逞强，只率二十个好汉冲进契丹阵中，而前来支援的潞州节度使李筠正好赶到，帮助这些梁山好汉杀退了契丹军，斩首二千余级。而史彦超打个了大胜仗（功劳应该是李筠的），有点忘乎所以，招呼二十个猛男去追杀契丹人（有毛病！）。

契丹人再不济事，也不怕你这几个人。反过来将史彦超围住，一通乱砍，史将军呜呼毙命！契丹军又趁势回杀，周军没有想到契丹人杀了一个回马枪，乱了方寸，连死带伤好几千，李筠光棍似的逃掉了。

柴荣接着败报，气的直跺脚：“史彦超有勇无谋，坏朕大事！”史彦超是周朝有名的猛将，他这一完，周军将士心中发毛，议论纷纷。柴荣不想再等，下令攻城。城中的刘崇打阵地战不怎么样，防守倒有点本事，打了几天周军没拿下来。老天似乎也不想让柴荣这么早就出风头，连旬大雨。城里的人好说，城外的人就惨多了，没地方躲，帐蓬也不如房子能顶雨，周营一下子多出了许多病号。

看样子，太原是一时半会拿不下了，柴荣考虑了一下，留得青山在，不怕没柴烧，今天不容爷，明个爷再来。传令三军毁营后撤，原先积蓄在城外的数十万斤粮草带不走的就烧掉，不能留给刘崇。周军已经没有斗志了，皇帝一下令，如丧家之狗般，狼狈撤退。有些军爷手上闲不住，边撤边抢百姓东西，军中一片乌烟瘴气。

刘崇想送送柴荣，刚出城就被周军殿后的匡国节度使药元福给请回去了。周军一撤，已经夺得的北汉州县复归北汉，周朝派出来的新任刺史仓皇南退。

柴荣回京前先绕道去了新郑，拜祭太祖皇帝。来到陵前，柴荣跪在地上放声大哭，直呼：“不孝子荣，未能亲自奉葬，万死不足辞罪，愿父皇神圣有灵，保佑皇周国祚绵长，早日轸灭祯河东残贼，规复山河，拯黎庶于水火！”侍从众人也跟着落泪。

经过这两次亲征，柴荣对那些打仗不怎么样架子倒不小的军爷的底细摸的差不多了，这些人个个都是兵油子，滑的很，冲锋在后，分功在前，这样的军队是不经的的。

柴荣会集群臣检讨此次失利，柴荣心情沉痛的告诉他们：“军中良莠兼杂，势强则战，势危则降，兵油子混进军队不是来打仗的，而是发财的。前次在高平，右军未战及溃，如果不是朕亲临矢石，督励将士，连朕都险些命丧高平。这等混帐绝不能再用！否则不知哪天朕就得被他们卖了！”

柴荣决定利用这个休整的时期对军队进行彻底整治，首先淘汰掉老兵、弱兵，打发回家。然后征募强壮汉子，直接充入禁军。因为如果让地方藩镇募兵，只能增加他们对抗中央政府的风险。由中央遴选，军队自然掌握在柴荣手中，不管是盛世乱世，没有一支素质过硬、能力过硬的精锐部队是不行的。

柴荣亲自检选，在眼皮子底下亮真家伙，而功夫好的就当禁军头领。这样一来，虽然军队人数少了，但战斗力强了，自古强兵在精不在众，人多了没用，反容易误事，君不见当年苻坚东拉西凑了九十万乌合下江南吗？朱序一呼，“秦军败了！”土崩瓦解，不可收拾。

淘汰冗兵还能省下不少军费，财政状况也随之好转。而且禁军队所用经费由中央财政直接拔付，也保定这支军队的稳定。柴荣建立起的这支军队“兵甲之盛，近代无比”，后来讨伐淮南、北上攻契丹，立下战功无数。宋太祖赵匡胤称帝后，南征北战，实现局部统一，靠的也是柴荣的禁军主力。

显德元年（公元954年）的十一月，从河东传来一则重要消息：盘踞在太原的北汉皇帝刘崇病死，次子刘承钧继位。

柴荣从来就没怕过刘崇，但对刘崇的“耶律叔叔”倒是不得不防，契丹人不比北汉。契丹人经常仗着自己的骑兵优势，窜到河北烧杀抢掠，因为机动性比较强，境内周军拿这伙“马贼”也没什么办法。

柴荣为了防御契丹，于显德二年（公元955年）的三月，在深州（今河北深县）和冀州（今河北冀县）之间的李晏口（今河北下博境内）设置静安军，派大将王彦超驻守李晏口。李晏口旁依胡卢河，凭深扼冀，是重要的军防要塞。契丹不希望看到李晏口的军防工程竣工，前来拆台，被王彦超痛击一阵，败了回去。契丹领教了柴荣的本事，没事再不敢上门拜访了，河北百姓深受其惠。