桓温行废立事后，开始大肆清除异己，司马昱受桓温牵制，不过是个傀儡，又害怕如司马奕那般被废黜，整日坐立不安，不久就忧愤成疾。
东晋咸安二年（372年）七月甲寅，病重的司马昱为召桓温入朝辅政，一日夜间连发四道诏令，桓温都推辞不至。此前拥立时，司马昱就封桓温为丞相，留其在京师辅政，被其辞让后还镇。回到姑孰后，司马昱又派了王坦之征召桓温入朝辅政，仍然被推辞。
真的是人越老胆越小，桓温十五岁假扮吊客混入丧庐，手刃仇人为父报仇，此时重兵在握，却不敢轻入建康。说桓温没那个贼胆吧，他又时刻惦记着篡位，废立之后夺位倒不敢了，司马昱活着的时候请他摄政不敢去，反而指望司马昱死的时候禅让。
司马奕还没被废位时，曾赐武陵王司马曦羽葆鼓吹，许其入朝不趋、赞拜不名、剑履上殿，司马曦并未接受，却也说明其受重视程度远胜旁人。而关键在于司马曦才略一般，唯独喜欢习武练兵，可这却犯了桓温忌讳，他就是靠着手中兵权成事，自然也提防着别人玩这一手。
于是，桓温以聚纳轻剽、包藏亡命为由将司马曦父子削职，勒令返回封地。尚未成行，桓温又逼迫新蔡王司马晃出首，诬称与司马曦父子、殷涓（殷浩之子）、庾倩、庾柔等人谋反，收于廷尉后向司马昱请旨诛杀被拒，最终司马曦、司马晃被废为庶人，殷涓、庾倩、庾柔等人被诛。
桓温的妻子南康长公主司马兴男，是东晋第二位皇帝司马绍与皇后庾文君所生嫡长女，而颍川庾氏也由此作为权臣、外戚控制国政。晋成帝司马衍、晋康帝司马岳都是司马兴男的同母弟，晋穆帝司马聃为司马岳之子、晋哀帝司马丕与废帝司马奕则是司马衍之子。
被桓温诛杀的庾倩、庾柔则是庾皇后三兄庾冰之子，庾冰在司马衍临死前为巩固庾氏权位，以策立长君为由一手促成司马岳继位。庾冰之女庾道怜又是废帝司马奕皇后，只是在司马奕继位当年就已病逝，受桓温逼迫废帝的褚太后则是司马聃之母。
多年前庾氏得以上位，是被司马绍推出来对抗王氏，当时王导执政，王敦等王氏中人遍布朝中、方镇，势大难治。后因王敦之乱，以及司马衍继位，庾冰长兄庾亮取代王导执政，推行法治以树立权威，诛除了图谋作乱的南顿王司马宗，其党羽逃亡至苏峻处。庾亮命苏峻送还被拒绝，随后又征苏峻入朝，苏峻担心被加害，联络了对朝廷心存怨恨的祖约（祖逖胞弟），一同起兵讨伐庾亮，最终攻入建康。
苏峻之乱平定后，庾亮人心尽失，只得离开中枢出镇豫州，并在陶侃（陶渊明曾祖父）死后代其出任征西将军，兼领江、荆、豫三州刺史。庾亮死后，其幼弟庾翼接任荆州刺史镇守武昌，都督江、荆、司、雍、梁、益六州诸军事。
而庾翼与桓温关系友好，相约一同安定天下，他曾向司马衍举荐桓温，说桓温有英雄之才，不应视作常人对待，要像周宣王时的方叔、召虎那般委以重任。可庾翼死前，却在病中上表请以次子庾爱之接任荆州刺史，此时庾氏已经两任荆州，朝廷也怕尾大难掉有违抑制王氏的初衷，再加上王氏的阻挠，且庾冰死后掌权中枢的何充也反对庾翼的请求。
为了缓解对立，调和各方意愿，与庾氏有亲旧，又是司马氏女婿的桓温得以出镇荆州，为了显示自己和庾氏不是一条心，桓温旋即将有庾翼之风的庾爱之及其兄长义成太守庾方之罢免徙往豫章。
何充的母亲是王导之妻的妹妹，妻子是明穆皇后庾文君的妹妹，侄女何法倪则是司马聃的皇后，有这么几层关系，他自己也想上位，却被庾氏压着一头。直到庾冰死后，何充才趁着庾氏没人够资历的空子独掌大权，不会让庾氏继续执掌荆州重镇，威胁到他在中枢的权位，于是援引桓温作为盟友，可他自己没干两年就病死了，掌握了荆州的桓温就此一步步坐大。
庾爱之被罢免后，桓温以征虏将军刘惔监沔中军事，代替庾方之担任义成太守。桓温的这个举动除了打击庾氏，同时也拉拢盟友，因为刘惔之妻是庐陵公主司马南弟，他跟桓温是连襟，其妹又是谢安之妻。
司马氏皇族一边倚靠士族门阀，一边想着制造所谓的平衡，而在各家士族，则无不想着怎么利用司马氏这块招牌，为自家谋取最大好处。从抬高外戚庾氏压制王氏，继而以桓温打压势大的庾氏，桓温难制后又重新重用王、谢，危机暂时消失后马上挑动王、谢内斗，东晋从建立伊始就陷入从无休止的内耗。
桓温诛除异己时，逼迫新蔡王司马晃出首之人，就是被襄阳名士习凿齿引为知己的桓秘。庾冰的几个儿子里，庾倩、庾柔被下狱论死，庾友因为儿子娶了桓秘之女求情得免，庾蕴饮毒身亡子孙幸免，庾希、庾邈则逃入海陵陂泽，得到表兄青州刺史武沈暗中供应粮饷。
东晋咸安元年（371年）六月，庾希与武沈之子武遵在沿海地区招聚渔民、掠夺船只，次年桓温发现其行迹后派军队前去搜捕。庾希等人却趁夜间攻入京口，召集囚徒发放兵器，称是奉密旨诛除桓温，先被逃跑到曲阿的晋陵太守卞耽征发乡兵二千击败，退守城池后东海太守周少孙奉桓温命令前来征讨，攻克京口擒获庾希等人送至建康斩首。
庾氏受诛后，面对桓温的威势，时任侍中的谢安远远见到桓温，也会俯首遥拜，并以曾在其幕下任职旧事，将二人关系称作君臣。至司马昱死后，群臣因畏惧桓温，竟无人敢拥立太子，等待桓温来决定，尚书仆射王彪之站出来反对，十岁的太子司马曜才得以继位。
但这样的结果，所有人都害怕桓温不满，再带兵入朝来一次政变。于是褚太后提议让桓温摄政，又是王彪之阻止，仅以谢安征桓温入朝辅政，赐羽葆、鼓吹，武贲六十，桓温没有接受也不入朝，因为此时的他已经身感不适。