伯刚不同意吴曦回蜀的真正原因。
在四川兴州，吴曦有一堂兄，娶一刘氏女子为妻，婚后夫妻感情不合，经常吵闹。一次，丈夫决定纳妾，妻子不同意。来往之中，就动了拳脚。妻子一怒之下，去找婆婆，岂知婆婆不向着媳妇，反说媳妇小肚鸡肠。刘氏想不通，上吊自杀而亡。
刘氏娘家也非平头百姓，兄弟在湖南为官，听说刘氏被打蒙冤而死，带人去兴州吴家说理。吴家仗着在当地有势力，也不愿服软，碰了一鼻子灰的刘家人一纸诉状，将吴家告上公堂，知州惧怕吴家，就将案子一拖再拖，时间一长，不了了之。
死去的刘氏是吴伯刚的嫡亲表妹，因此，任凭吴曦说上天，吴伯刚也不会同意。
这次，趁韩府办喜事，吴曦单独给韩侂胄送了－份厚礼。
陈志善找韩侂胄汇报此事，韩问陈什么意见。
陈认为，吴曦是朝廷不可多得的武将，让其回四川，守卫川陕，一则可以加强西北的军事防御力量，二则，体现朝廷恩泽遍及边陲四方，再则，可以让他尽人之孝，忠孝两全，何乐不为？
韩侂胄担心，让吴回川，会不会放虎归山，造成吴家军尾大不掉的局面？
陈志善以为，朝廷对吴家世代有恩，他吴曦凭什么与朝廷相左？据我观察，吴曦此人豪爽仗义，不会忘恩负义。还有，可以派一个副职同去，令其有什么异动及时报告，如同在他的身边安插一个耳目，他能如何不轨。
韩侂胄让吴伯刚对此事表态。
吴伯刚明确回答，决不能让吴曦回川。吴氏在四川盘踞近百年，根深蒂固，利州一带派外人为官，处处受吴家掣肘，再让他回去，无疑是养痈贻患，后果难测。孝宗年间，即有此说。
那吴家将领世代忠良，赤胆忠心保我大宋，何以到了吴曦身上，就会变节反目?
吴伯刚听到此处，只好放缓口气:郡王，我也没说吴曦此去，必定会变节反目，只是有这种可能，再说此人颇有城府，能言善辩，不得不防啊。
那晩，吴曦在韩府，也流露出对用人先防策略的怀疑。对天发誓，一定忠心保国。他也觉得，未用先防似有不妥，疑人不用，用人不疑嘛。
韩侂胄说，“我觉得此人尚可，可以到地方带兵。即使不去四川，到其他地方也可以。”
吴伯刚急忙提醒：“郡王，此人万万不可授之以一方兵镇，倘若不虞，你我可是罪人啊！”
其实，直到这个时候，韩侂胄还没有下决心，同意吴曦回蜀，只不过是与他交流一些看法。但吴伯刚的这句话惹恼了他。胸中的不满象燃烧的火苗，腾地一下就上来了，“要当罪人，还轮不上你。”
事后，韩侂胄又征求左丞相谢深甫的意见。谢察言观色，给出这样的建议：
吴家对朝廷是忠心的，吴曦是个能干的将帅，郡王有识人之明，放吴曦到地方带兵完全是可以的。吴枢密说的也有道理，不怕一万，就怕万一吗。郡王说得也对，不去四川，可以去其他地方吗。选个离四川近的地方让他去，一来他回老家方便些，二来看看他到地方带兵究竟怎样，过两年，要是表现好了，他还想回去，那就让他去好了。
韩侂胄高兴地拍着他的肩膀，你这个主意好。
胡松寿的事很快就让程松知道了，后悔不迭，生怕师王找他的麻烦，吴曦找到他，说右丞相吴伯刚纵容包庇部下，至使好人冤枉至死，如此目无纲纪，枉为重臣，请谏议大夫上折弹劾。
苏师成找到程松，透露一个重要信息：师王与吴伯刚在吴太尉回蜀的问题上，闹得面红耳赤，这吴伯刚还专门上了个折子，劝皇上无论如何不要让吴曦回蜀任职。