在承乾殿，元吉住在武德殿后院，他们的住处与皇帝寝宫、太子东宫之间日夜通行，不再有所限制。
太子与秦、齐二王出入皇帝寝宫，均乘马、携带刀弓杂物，彼此相遇只按家人行礼。太子所下达的令，秦、齐二王所下达的教和皇帝的诏敕并行，有关部门不知该听哪个的命令，只有按照收到的先后为准。李世民不去讨好诸位妃嫔，所以嫔妃们很生气，争相称赞李建成、李元吉而诋毁李世民。
李世民平定盘踞在洛阳的王世充以后，高祖让贵妃等几人到洛阳挑选隋朝宫女和收取仓库里的珍宝。贵妃等人私下向李世民索要宝物并为自己的亲戚求官，李世民回答道：“宝物都已经登记在册上报朝廷了，官位应当授予贤德有才能和有功劳的人。”没有答应她们的任何要求，因此妃嫔们更加恨他。
李世民因为淮安王李神通有功，拨给他几十顷田地。张婕妤的父亲通过张婕妤向高祖请求要这些田，高祖手写敕令将这些田赐给他，李神通因为秦王的教令在先，不让田。张婕妤向高祖告状道：“陛下敕赐给我父亲的田地，被秦王夺去了给了李神通。”高祖因此发怒，责备李世民说：“难道我的手敕不如你的教令吗？”
过了些天，高祖对左仆射裴寂说：“这孩子长期在外掌握军队，受书生们教唆，已经不再是原来的那个儿子了。”尹德妃的父亲尹阿鼠骄横跋扈，秦王府的官员杜如晦经过他的门前，尹阿鼠的几名家僮把杜如晦拽下马，揍了他一顿并打断了他一根手指，说道：“你是什么人，胆敢过我的门前不下马！”尹阿鼠怕世民告诉皇帝，先让尹德妃对皇帝说：“秦王的亲信欺侮我家人。”高祖又生气地责备李世民说：“我的妃嫔家都受你身边的人欺凌，何况是小老百姓！”世民反复为自己辩解，但高祖始终不相信他。
李世民每次在宫中侍奉高祖宴饮，面对诸位妃嫔，想起母亲太穆皇后死得早，没能看到高祖拥有天下，有时不免叹气流泪。（窦皇后死于公元613年，距离唐王朝建立还有一段时间。）
高祖看到后很不高兴。各位妃嫔趁机暗中一同诋毁李世民道：“天下幸好平安无事，陛下年寿已高，只适合娱乐娱乐，而秦王总是一个人流泪，这实际上是憎恨我们，陛下作古后，我们母子必定不为秦王所容，会被杀得一个不留！”因此相互对着流泪，并且说：“皇太子仁爱孝顺，陛下将我们托付给太子，必然能获得保全。”高祖也为此很伤心。从此高祖打消了改立太子的念头，对世民逐渐疏远，而对李建成、李元吉却日益亲密了。
从这一点的记载描述，李世民对于其父亲的妃妾并没有相应的恭敬之心，固然李世民是嫡子，但是从孝道的情况来看，李世民的行为明显不妥。
而从另一方面的情况来看，李世民不会不知道枕边风的威胁，而且有一个事情很有意思，那就是伊德妃与张婕妤在玄武门之变之后不知所踪。
这两名女子的结局有着很多推测，有人说其在玄武门之变之后自杀，有人说其在玄武门之变之后被李渊逼迫自杀，还有人说她们改名换姓，成为了李世民的妾室……
若是最后一种说法属实，恐怕李世民的一些方面的历史描述，可谓歪曲荒谬至极。
……
秦王李世民与太子李建成、齐王李元吉结下嫌隙以后，认为洛阳地势优越便利，担心总有一天会发生变故，打算离开京城保守此地，所以就让行台工部尚书温大雅镇守洛阳，派秦王府车骑将军张亮率领亲信王保等一千多人前往洛阳，暗中结交崤山以东的豪杰，等待事态变化，拿出大量的金银丝帛，任凭他们使用。李元吉告发张亮图谋不轨，张亮被交付法官考察验证。张亮从始至终一言不发，朝廷便释放了他，让他返回洛阳。
李建