扰怀庆，密迩山西，叠次谕令哈芬严密防堵。该抚前奏布置隘口情形，据称已属周密。乃贼匪突陷垣曲，扰及绛县、曲沃，直扑平阳。叠据藩司郭梦龄驰奏，而哈芬近在省南，奏报转迟，且由阳城亲带官兵进剿，自应迅赴平阳迎击，何以迁延旬日尚逗留潞郡？似此调度无方，畏葸无能，若仍令待罪封疆，必致更滋贻误。怀庆围解，胜保功大，加都统衔，赐黄马褂，特予节制各路人马，入晋杀贼。
1853年9月12日，林凤祥攻打平阳，架炮轰塌城垣，兵勇商民惊慌四散，平阳知府何维墀脱手钏激赏之，亦不能止。林军占得平阳，尤恨平民助妖，怒将武庙沿街民居焚烧殆尽。
胜保率军追至，密伏城北。
林凤祥不知，督兵继进，被西凌阿马队冲散。林凤祥慌不择路，督率后军，退守平阳；李开芳率前队，北进洪洞。
14日，榆林镇总兵郝光甲率部赶至。胜保令郝部牵制林军，自率大军，围攻洪洞，冀先北后南，各个击破。
林凤祥不知胜保撤围，兀自北门突围。郝光甲得悉，再伏城北。林凤祥猝不及防，折兵百余，复退城内。
春官正丞相吉文元道：“平阳之北，秋禾如云，高粱夹道，正宜妖伏。不如声北击东，趁夜而出。”
凤祥颔首，道：“大军入晋，晋人争送骡马米粮；晋人善，有愿附我者尽可纳之。”
16日夜，林军大张旗鼓，北门佯动，伪为将战势。甫一接战，诈败入城，洞开东门，扬长而去。兵至洪洞，接洽李开芳部，方知胜保早撤，而郝部兵不过两千。凤祥咬牙切齿，恼羞成怒，倾兵南下，圈围郝光甲部，一通厮砍，两千清兵，几近杀光。
胜保得悉，目瞪口呆，惶急疏曰：该逆始而穷窜，桀悍之徒不过四五千人，始堵御有兵，早已剿办得手，今沿路裹胁又已过万。拿获长发贼讯供，欲由山西乘虚直犯京师，是以所破城池不愿踞守。臣揆度情势，若不跟踪追缴，逆贼必更猖獗；若仅一味穷追，前途调兵拦阻不及，设其窜过韩侯岭，扰近畿疆，大局不堪设想。
咸丰帝惧林军自晋入京，谕令胜保飞至韩侯岭拦截，为事权专一，特授胜保钦差大臣衔。
恭亲王奕忻道：“昨接向荣奏报，言上海小刀会匪起势，连克我嘉定、上海、宝山、南汇、川沙、青浦等县。上海诸厅县，皆三吴菁华之地，不独海关税银赖充军饷，转眴筹办海运，尤为大局所关。”
咸丰帝道：“朕一再迁就，杨文定依旧碌碌，即刻逮治，坐论大辟。江苏巡抚许乃钊，疾驰上海戡乱，怡良、向荣务必分兵驰援。”
许乃钊接旨，檄调常镇通海道吉尔杭阿、湖北宜昌镇总兵虎嵩林、参将秦如虎合师进剿。两江总督怡良、钦差大臣向荣接旨，亦不怠慢，各遣兵马，奔赴上海。
小刀会首刘丽川，广东香山人，经商上海，因琐事与苏松太道吴健彰结怨，遂糾客籍粤、闽、江右会党二千人，杀知县袁祖德，劫道库。
刑部主事刘存厚募勇千人，连克青浦、嘉定。吉尔杭阿军至，渐次克复宝山、南汇、川沙，合围上海。
向荣再奏：俟上海一克，即顺道先击镇江，复统军困围金陵。
咸丰帝厉斥向荣畏葸，谕令即攻镇江、金陵。向荣无奈，饬令和春进击。和春惧覆邓绍良之辙，谨攻慎击，镇江战事一时胶着。
镇江绅缙喟叹：“镇江屯军，能任战者，仅楚、粤、川、黔兵四千，或时与潮勇哄，浙兵助声威而已。唯艇船集焦山五十余艘，往往伺风上攻。”
向荣再奏：欲攻金陵，须先从水上去其船，使金陵、镇江、扬州之贼，首尾不能兼顾，然后可以制其死命。臣正待粤师红单船至。
上疏不久，自感欠妥，又奏：攻城之法，城小可以合围，城大只宜声东