他不光自己走，还让家眷都离开了建康，前往会稽郡的家中居住。
之后就头也不回的离开了。
一路急行赶到新野桓豁的行在把他堵住，只用一句话就把他给劝住了：
桓温和桓冲都在包围圈里，你是桓家最后的希望，如果你再折损在那里，桓家怎么办？
桓豁也是个大才，之前只是消息太突然失了智。经过谢安提醒才知道，自己盲目出兵只会彻底葬送桓家。
他是吃过苦的，当年他父亲早逝留下他们母亲和哥几个，日子过的相当艰苦。
他母亲病了需要吃肉，买不起怎么办？桓温就把年幼的桓冲质押在养羊的人那里，换了一只羊回来。
还好那个养羊的人很喜欢桓冲，视如己出甚至还想让他过继给自己，只是被桓温拒绝了。
桓家崛起后，桓冲重谢了养羊人当年的恩情。
年幼时候吃过苦，好不容易才重振家门，桓豁自然不希望家族再一次没落，也不想桓家的孩子再经历他们的苦。
所以，尽管很想去救兄弟，在谢安的劝说下还是忍了下来。
之后谢安就去见了谢玄。
此时的谢玄已经是二十六七岁的青壮年，娶了桓温的侄女为妻，儿子都一岁出头了。
他知道自家和唐国的关系，得知父亲被围并不是很担心。他发愁的是，谢家该怎么面对当前的局面。
见到叔父过来，连忙屏退左右请教起来。
谢安道：“夹在两国之间，我们做的越多错的越多，坐观时局发展吧。”
谢玄道：“这也太被动了吧？”
谢安重重的叹息道：“被动也比盲目出手要好啊，唐皇可不是个心慈手软的人。如果我们贸然参与进去，恐怕不好收场啊。”
谢玄道：“不会吧，他总不能不顾及大姊的感受吧？”
谢安道：“帝王无私情啊，如果你大姊敢阻拦，可能连自己都无法保全。”
“且接纳道卿（谢靖）入唐就是他对你大姊的补偿，之后我谢家的存亡就只能看自己的选择了。”
谢玄头大的道：“真麻烦，我宁愿面对十万大军，也不想面对这种事情。”
谢安道：“比起别的家族来说，我们的情况已经很好了。至少我们还有的选择，他们……”
后面的话他没有说出来，但意思在明白不过。
“好了，就说这么多吧，你千万要稳住不要被人看出端倪。”
谢安在这里避风头，建康那边可没闲着，经过一番激烈争斗之后终于确定了北府兵统帅的人选。
情况紧急，赶紧走马上任。
其他各地的军队也纷纷动身，前往长江各渡口进行防守。
然而还没等他们完成调度，唐国的舰队就出现在了长江口。