元渊感受到了朝廷对他的不信任，于是向太后上疏：城阳王元徽与臣有私怨，对臣恨之入骨，臣现在在外领兵平叛，元徽居朝廷掌枢要，他诬陷臣无所不用其极；自元徽执政以来，凡臣上奏所请的事情，元徽都不批准；且元徽不只是陷害臣个人，跟随臣出征立功的将军，都被元徽排斥、诋毁、憎恨，寻找一切机会打击他们，所以追随臣的部下都十分的恐惧；朝廷上赞同臣的，元徽都去排挤，说臣坏话的，元徽都加倍亲近；如今元徽在朝廷执掌尚书决策，臣在外十分恐惧担忧，无法安心，希望太后陛下将元徽外放到州郡，使臣没有后顾之忧，可以一心一意地为朝廷出力，早日平定河北的叛乱，尽忠朝廷。
胡太后看毕，只得先置之不理，大敌当前，她无法判断城阳王和广阳王疏是疏非。不久，胡太后改封义阳王元略为东平王，迁升为大将军，接替元徽担任尚书令。同时给元渊多次调兵，希望他能尽快平定鲜于修礼的叛乱。
此时幽州的杜洛周也在攻城略地，幽州刺史常景坚守幽州城池。他调兵遣将，指挥着幽州各地的力量跟杜洛周展开了拉锯战，双方互有胜负，将杜洛周牵制在幽州一带，使杜洛周南下受阻，不能与鲜于修礼会合。而元渊对于鲜于修礼的屡次镇压都未取胜，于是他打算采取外交攻略。在鲜于修礼的队伍中，有很多是随破六韩拔陵起兵而失败后投降的勇士，这些劫后余生的兵士作战勇猛，强攻会伤亡极大，且没有必胜的把握；如果能从内部挑拨，然后招降，则有极大的胜算。
元渊很快发现了鲜于修礼部下的元洪业，并以高官厚禄将其收买。八月，元洪业诛杀鲜于修礼，向元渊投降。元渊立即派兵接应，然而就在此时，鲜于修礼队伍中的葛荣后发制人，他利用鲜于修礼亲信们的不满情绪，诛杀了元洪业，并将元洪业与元渊的勾结情况公之于众，于是群情激动。队伍中被元渊早已收买的势力也不敢再轻举妄动。
葛荣带领队伍转移阵地，北上向瀛州（今河北省河间县一带）进发，计划在行军中伺机反击元渊。元渊挥军北上，使左右都督带兵紧跟着葛荣队伍，自己率主力殿后。
九月十五日，葛荣率军达到白牛逻（今河北省蠡县、博野县一带）后，设下埋伏。元渊队伍赶到时，葛荣率轻骑突击广阳王元渊左部，一举擒杀左都督章武王元融，先锋队伍大败而逃。元渊得知前方大败，不敢进兵。葛荣大获全胜，在队伍中的地位得到了巩固。然后，葛荣自称天子，国号齐，改元广安。
广阳王元渊在前线的战败又给了城阳王元徽攻击的机会，他串通侍中元晏在太后跟前说坏话。
“广阳王在前线持续不动兵，怕是要坐等时变，现在朝廷内忧外患多难，太后万不可不防呀！”
一时元渊要谋反的消息满天飞。
侍中元晏进一步建议太后干掉元渊的左膀右臂于谨以防不测。
太后此时彻底迷茫，她命人在尚书省贴出了悬赏告示，悬赏于谨。按理说于谨就在元渊的军中，直接一到圣旨就可以抓回来了，现在却让尚书省贴通缉令？这正是太后的聪明之处。要说对元渊一点怀疑也没有，不可能，要说完全相信元徽、元晏等人，也不尽然。太后认为，如果元渊没有异心，他必定会主动将于谨押解入京；如果元渊有异心，那么直接到军中拿人等于逼元渊翻脸，所以太后此举是在试探元渊。
于谨被通缉的消息传到元渊军中，军营一片哗然，将领都很气愤。为了报答元渊在镇压六镇匪徒时的知遇之恩，于谨决定自己到洛阳亲自向朝廷表白。
面对朝廷铺天盖地的流言蜚语，元渊的内心感到了巨大的恐惧，心里想也许以于谨的口才可以到朝廷为他辨别清白，于是元渊心情沉重地将于谨送离了军营。