1853年初，十余万太平军从武昌沿江东来，水陆并进，连克名城，于是东南震动，各处地方官苦于正规军的防御兵力不足，纷纷组建团练以图自保，上海也不例外，在吴健彰的主持下，成立了以粤籍人为主的民间卫队，并且由于条件优厚，许多广东人远道而来参加这一雇佣军团体。
此举引起了上海本地士绅的恐慌，太平天国运动虽起自于广西，但骨干力量都是广东人，因此清廷蔑称为粤匪，如今这些团练都来自广东，万一和粤匪产生地域向心力，这可怎么办，然而吴健彰却不为所动，认为粤籍人吃苦耐劳，打仗只能倚仗他们。
上海士绅情急之下杯葛这个决定，拒绝缴纳为组训团练而摊派给他们的钱粮，太平军占领南京后，似乎对苏南没有进一步的战略攻势，既然局面不再紧张，又断了经济来源，吴健彰也就顺水推舟，解散团练。
这些退伍雇佣军失去了工作，正在怨恨彷徨之际，于是就被刘丽川迅速吸纳进洪门，因为他已经在准备发动暴动了。
暴动的建议是由上海小刀会提出来的，当时福建小刀会已经在厦门杀官造反，树大明旗号，上海闽籍人准备积极响应，邀请洪门共同起事。
就力量而言，小刀会比较强大，但威望则刘丽川稍高，而且吴健彰的亲兵卫队都以香山人为主，已被刘氏打通关节，因此暴动以小刀会为主力，以大明为号召，首脑却是洪门的刘丽川。
从攻占上海县城开始，暴动坚持了一年多，期间闽粤两帮从没团结过，刘丽川俘虏了吴健彰，想因同乡之谊放了他，小刀会不同意；刘丽川投书联系南京，想把旗号改成太平天国，放弃反清复明宗旨，小刀会也不同意，等到局面最紧张的时候，刘丽川想服从外国领事的调解，弃械投降，小刀会依然不同意。
闽粤两帮纵然有诸多分歧，不过有一件事倒是达成了统一，那就是1855年的旧历大年初一突围的时候，一把火烧尽了上海县城，使这座六百年名城毁于一旦，从此上海华界只能依附于租界的卵翼下发展，再也不能独自存活。
清军攻克上海县城后，对闽粤人士开始了严厉的惩罚，除了残酷的杀戮和通缉外，每间闽粤会馆被摧毁，其先人坟墓被铲平，并对留在上海的闽粤商人课以重税，也就是说，清廷要把所有闽粤人都逐出沪上。
从此，作为一股势力，闽粤人再也没有重新进入上海，他们留下的空缺，将由逃避太平军兵灾而来的苏州人和宁波人填补。
小刀会暴动对上海最大的影响，除了毁灭县城外，就是打破了之前华洋隔绝的局面。
租界本来只有华人五百，都是些仆人杂役，小刀会暴动甫起，租界一夜之间就涌进两万本地人，其后太平军兵锋横扫苏南、浙北，当地绅商纷纷逃入原本他们不屑进又不敢进的夷场，租界人口暴涨至五十万，地价有上涨百倍之多者，随后租界内的官方行政系统公共租界的工部局、法租界的公董局相继成立，警务处及下属巡捕房也随之建立。
太平军失败后，上海进入了一个平稳发展期，各种社会势力重新发生、组合、均衡，正如后世毛太祖所说，秘密社团是政治和经济斗争的互助团体，其主要成员是失了土地的农民和失了工作机会的手工业工人，于是洪门和小刀会被消灭后，一股新的帮会力量正在无业游民间悄悄地生长。
说到上海新的帮派势力生长，其最大的推波助澜当属赫赫有名的洋泾浜。
洋泾浜原本是上海黄浦江一条支流的河名，它东引黄浦江水经八仙桥西流，北通寺浜、宋家浜，西通北长浜，西南通周泾，它虽是一条不起眼的小河浜，却有着四通八达的便利。
自小刀会起义失败之后，上海公共租界和法租界的人