100多法军和雇佣兵继续四面出击，越南军队闻风而逃，北部的海阳、宁平、南定等红河沿岸省份相继陷落。不可一世的安邺未能意识到，他的举动实际已经触动越南政府的一支特殊雇佣军——黑旗军的利益。
当时与中国相邻的越南北部，聚集了不少从中国逃亡来的各种反叛武装力量。其中有的接受招安，归附越南政府，成为越南政府雇佣下的团练。有的则自行在越南攻城掠地，占据地盘自立为王。越南政府自身的军力，根本无法肃清边境，于是广泛采取了招安一批，攻打一批，让境内的中国武装力量自相攻灭的措施。
进入越南后的黑旗军，选择了依附越南政府，攻剿越南当地反叛势力和其他退入越南的中国起义军。1869年，黑旗军击退了越南北部实力最大的一支中国流亡起义军，即刘永福当年在吴亚忠起义军中的战友，黄崇英率领的黄旗军。至此，刘永福黑旗军在越南北部扎稳脚跟，以位于中越两国交界处的越南边境城市保胜（老街）为总据点，扼守住红河流经中越两国的重要分界点，修筑炮楼城墙，并在红河上设立关卡，对来往商船抽税。除越南国王常例发给的粮饷外，黑旗军自行征收的税金每年可达8万余两，从此过上衣食无忧的生活，越南北方成了黑旗军的安乐窝。
1873年底，安邺控制河内，法国势力侵入越南北方，越南朝廷为之震动，得到消息的黑旗军也极为愤怒，认为法国人侵入了自己的地盘。越南国王阮福时下旨，一面准备与法国政府接洽谈判，外交协商，一面调兵遣将，防止法国人进一步的侵略举动。统督北圻军务的越南驸马黄佐炎，完全明白越南官军溃烂不堪使用的真情，于是调动刘永福部黑旗军，打出这张战斗王牌，命其开往河内郊外，预防法军继续北犯。
1873年12月，刘永福率领所部黑旗军1000余人，抵达河内西门外的罗池地方安营，12月21日星期日，上午10时30分，安邺突然听到属下禀报，称河内城外有一些越南士兵在叫骂挑战，安邺当即下令集合队伍出发，攻剿这些不知生死的越南人。由于当天正值礼拜日，仓促之间，只集中了20名士兵，但是拥有以180人击溃越南军队7000人经历的安邺，根本没把城下挑战的少量越南人放在眼中。
安邺与副手海军中尉巴尼各带10名士兵气势汹汹地杀出城去，在城外“张牙舞爪”的越南兵立刻逃散，安邺更是怒火中烧，决定追击痛剿。当法国军队一路追杀至河内城外的纸桥附近时，安邺和部下20名法军，陷入了被1000多黑旗军包围，进行白刃战的悲惨境地中。安邺作战中掉进一个陷坑，在射光手枪子弹后，被围上来的黑旗军割下了头颅。安邺率领出城的法军，阵亡了3名士兵，安邺的副手巴尼也在混战中掉了脑袋，剩余的法军则奋力拼杀，突围而去（1000名黑旗军围殴20名法军，只干掉了5个，剩下的都跑了，在后世的诸多影视文学作品中勇猛无敌的黑旗军的实际战斗力就是如此）。
横扫越南北方，开拓红河事业正是满路春风之时，突然杀出安邺之死事件，犹如是一脚急刹车，顿时让在越南的法国人有些手足无措，原本张狂的侵略行为也停滞了下来。但林义哲知道，事情肯定不会就此善罢干休的。
如果换成是大英帝国，遭受如同纸桥之战般的耻辱，势必会立刻发起声势震天的报复行动，法国人对这一事件的发生表现得很是平静。原因非常简单，法兰西帝国当时刚刚经历了和普鲁士的战争，国力大损，暂时不想对外实施大规模的战争。
和历史上的普法战争的结果不同，这一次在林义哲的“暗箱操作”下，没有使得法国立刻从列强俱乐部里被扫地出门，法国没有遭受战败的耻辱，暂时的阻止了普鲁士统一德国，第二帝国的国祚也得以延续，但因为主