对于子女的教育，李世民均是亲自把关，唯独李宽自幼跟随在先皇身边，也使得李世民在李宽心目中位置远不如李渊，就连王槐等人都比他要重要得多，这是李世民心中的痛。
自从李宽认祖归宗，承认其皇子身份，李世民对他也是置之不理，撒手不管的结果是李宽居然明目张胆的出入烟花之地，甚至还与人因青楼女子而动手，这让李世民很气愤。
“皇上，臣以为殿下不过是一时兴起罢了，并非有意为之！”房玄龄沉默片刻，首次开口是为李宽辩护，李世民撇过头，皱着眉头，沉声道：“出入青楼是一时兴起？我看他就是有意的！”
“不满皇上，臣与殿下见过！”李世民更加疑惑，堂堂的宰相怎么可能会与李宽见面，瞥见房玄龄脸上的尴尬，李世民瞬间明白为何会见过面，淡淡的问道：“哦！玄龄有何想法？”
房玄龄回道：“殿下与王妃的感情颇深，此事人所共知的事情。若是殿下真的私下里前往青楼，臣倒是不会怀疑。但是，此事越传越广更像是有人刻意为之，实不相瞒。那日臣不仅见到了楚王，更见到了楚王妃。”
“楚王妃与他一起？”
李世民大吃一惊，房玄龄将事情的来龙去脉说清楚后，李世民的怒火这才慢慢的消散，了解事情经过也知道了武珝与李宽是在一起，也就是说这次传闻的事情刻意隐去了楚王妃的事情，断章取义很明显，所有的矛头都对准李宽，绝对是有备而来。
“到底是何人所为？”
李世民震怒，居然有人敢刻意中伤皇子，简直胆大包天，险些让他自己都上当。房玄龄心里有个大胆的猜测，可他不敢说出口，没有任何凭据的事情，房玄龄是不会轻易说出口。
李世民到想看看是谁有这么大的胆子敢恶意中伤楚王李宽，命人下去追查事情真相，房玄龄觉得这事就算是追查也不会有结果的。如果真如他所想的那样，绝对不会留有任何痕迹。
“皇上，臣还有个不情之请！”房玄龄再次开口，李世民回道：“但说无妨！”
“臣恳请皇上收回成命，小儿顽劣非良配，断了左腿不仅没有反省反倒是更加肆无忌惮。高阳公主贵为千金之躯，嫁给小儿岂不是委屈了，为了高阳公主的未来着想臣恳请皇上收回成命，免去小儿与高阳公主的婚约。”
事情已经说开了，房玄龄也只得如实禀报希望借此机会让皇上退婚，在他看来房遗爱与高阳公主不相配，自己儿子是什么样的人他最清楚不过，要是高阳公主嫁给房遗爱，那岂不是让她一辈子抬不起头来，而且媳妇是公主，身为公公的房玄龄当真不知该如何面对。
“我说的话岂能收回？”李世民摇头拒绝房玄龄的请求，正声道：“高阳是我的女儿不假，就算遗爱有些不是，也不过是小孩子性质罢了，待他成家立业以后会有所改变，高阳嫁入房府我放心。”