咸康二年（336年）六月,段辽派遣中军将军李咏夜袭武兴,被慕容皝都尉张萌追击擒获。段辽再遣段兰率领步骑数万屯兵于柳城西曲水亭,准备进攻柳城。宇文逸豆归也出兵进攻安晋为之声援。慕容皝率领步骑五万前往柳城迎战,段兰不战而退慕容皝又引兵北上安晋,逸豆归也弃辐重而走,被司马封奕率轻骑击破,辐重均被燕军所获。慕容皝知宇文、段部不会就此罢休,于是命封奕率数千骑埋伏于马兜山,防备二者偷袭。七月,段辽果然率数千骑前来寇抄,被封奕击斩其将荣伯保。九月,慕容皝又遣慕容信进攻段辽诸城,封奕出击宇文部,皆大获全胜。同时,派长史刘斌、郎中令阳景送徐孟等返回建康。

咸康三年（337年）三月,为了打击段部,慕容皝在乙连城东筑好城,派折冲将军兰勃驻守,作为进攻乙连的前沿。又在曲水筑城,作为兰勃后援。乙连城被两城夹击,物资运输受到极大限制。四月,段辽被迫派车数千辆向乙连运粮,但所运粮粟均被兰勃截夺。六月,段辽又遣从弟扬威将军段屈云进攻兴国城（即此前曲水所筑之城）,欲解乙连之困,结果屈云被慕容皝之子慕容遵击败于五官水,部众均被俘。

九月,镇军左长史封奕等认为慕容皝职位太轻,不符合所担重任,建议慕容皝称燕王。慕容皝于是加封封奕为国相,韩寿为司马,裴开为奉常,阳鹜为司隶,王寓为太仆,李洪为大理,杜群为纳言令,宋该、刘睦、石琮为常伯,皇甫真、阳协为冗骑常侍,宋晃、平熙、张泓为将军,封裕为记室监。十月十四日,慕容皝在文德殿即燕王位,大赦境内,又建文昌殿,乘金根车、驾六马、出入警跸,建立了完整的王侯礼仪,史称前燕。十一月二日,追尊慕容廆为武宣王,夫人段氏为武宣后，立夫人段氏为王后,世子慕容儁为王太子,皆如“魏武、晋文辅政故事”。至此,慕容氏正式建立起了割据政权,慕容皝称王一方,己经为进一步称帝作了准备。

此时,居于令支的鲜卑段部成为慕容皝进军中原的直接障碍。咸康三年末,慕容皝借段辽经常骚扰后赵边境之机,派扬烈将军宋回出使后赵,向其称藩,请求后赵出师讨伐段辽,自已则率全国之众相助,并以宁远将军慕容汗为质。赵王石虎大喜,不纳质子,双方密谋明年合兵进攻段辽。这是慕容皝为谋西进扫平段氏而采取的重要一步。

四年正月,慕容皝又遣都尉赵盘前往后赵,商定进兵时间。而此时正逢段氏袭击后赵幽州。石虎于是分兵两路,水陆并进征讨段辽,这给了慕容皝平灭段氏以绝佳的机会。三月,赵盘回到棘城,慕容皝立即出兵攻掠令支以北诸城。段辽遣段兰出兵迎击,慕容翰劝段辽不要两面树敌,应全力抵御后赵的进攻。但段兰并未接受慕容翰的建议,反而全力追击慕容皝,被伏兵所败,死者数千人。慕容皝由此掠得五千户及畜产万计。同时,石虎兵到金台,其将支雄长驱入蓟,段辽所属渔阳、上谷、代郡等四十余城投降。石虎进兵徐无,逼近令支。段辽因段兰战败,损兵折将,故不敢再与石虎交战,率妻子、宗族、豪大千余家弃令支奔于密云山,慕容翰北奔宇文氏。段氏的地盘被石赵与慕容皝瓜分。四月三日,东晋进封慕容毁为征北大将军、幽州牧,领平州刺史加散骑常侍,增邑一万户,其他官职如故。东晋以慕容皝为幽州牧,一是将原来为段氏和后赵分别占据的地方封予慕容皝,这样做一是承认了慕容皝进攻段辽所获的令支以北诸城,二是诱使慕容皝与后赵展开新的争夺、从而打击后赵。

慕容皝此战虽然取得胜利,但却因为没有与赵兵会师而自取令支以北诸城,引起石虎的不满。五月,石虎进兵攻击慕容皝。在内史高诩建议下,慕容皝严兵守备、坚守拒敌,并罢六卿、纳言、常伯、冗骑常侍等王国官。石虎在进兵同时,派遣使者招诱慕容皝所属民众。成周内史崔焘、居就令游泓、武原令常霸、东夷校尉封抽、护军宋晃等三十六城降于石虎。冀阳流民杀太守宋烛降于后赵，营丘内史鲜于屈遣使降赵,但被武宁令孙兴与吏民收斩,并闭城据守。朝鲜令孙泳率众据守,县中大姓王清等欲降于赵,被孙泳所杀,但恕其同谋数百人。乐浪太守鞠彭以境内皆叛,率领乡里壮士二百余人返回棘城。九日,赵兵四面围攻棘城，而此时慕容氏之地大都叛降石虎,慕容皝害怕棘城不可守,于是谋划逃往辽东,被帐下将慕舆根,左常侍、史官黄泓等劝阻。但对于是战是走,慕容皝仍然心存疑虑。玄菟太守刘佩请求出击赵兵以壮声势,于是率领数百骑敢死队冲击赵兵,所向披靡,使士气大振。慕容皝也最终在封奕的劝说下决意坚守。

燕赵双方在棘城相持十余日,赵兵在慕舆根等坚守下始终无法攻克棘城。五月二十三日晨。慕容皝遣慕容恪等率骑兵二千袭击赵军,后赵兵惊扰大败,慕容恪乘胜直进,俘斩达三万余人又分兵讨伐叛变诸城,一直拓境到凡城,才筑戍而返。在战争中投降石虎的崔焘、常霸逃往邺城,封抽、宋晃、游泓逃奔高句丽。慕容皝嘉奖拒战有功的鞠彭、慕舆根等人,并对叛变者大加诛灭,在功曹刘翔劝说下才“多所全活”。但这次失败并没有消饵石虎灭燕之心,不久,石虎即遣渡辽将军曹伏率青州兵戍守海岛,并给其运谷三百万斛；又以船三百艘运谷三十万斛于高句丽,以为伐燕之外援；又派遣典农中郎将王典率万余人屯田于海滨,在青州造船千艘,准备再次伐燕。

十二月,躲避于密云山中的段辽遣使向后赵请降,石虎遣征东将军麻秋率众三万前往迎接,因尚书左丞相裕曾为段辽故臣,故使之为麻秋司马。而段辽却又转投前燕,慕容皝亲率诸军迎接段辽,双方于是合谋攻击赵兵。慕容皝遣慕容恪率精兵七千埋伏于密云山，与后赵军大战于三藏口,后赵大败,死者十之六七。麻秋步行逃脱,司马阳裕、将军鲜于亮等被俘。慕容皝由此尽获段辽之众,以段辽为上宾,鲜于亮为左常侍,阳裕为郎中令。此时,慕容皝的领地已经与后赵相接,为进入中原打开了通道。

咸康五年四月,慕容皝遣前军帅慕容评、广威将军慕容军、折冲将军慕舆根、荡寇将军慕舆埿袭击后赵辽西,掠民千余家后赵镇远将军石成、积弩将军呼延晃、建威将军张支等追击,被慕容评等击败,呼延晃、张支被斩。但此时石氏后赵雄踞北方,是最强盛的力量,因此慕容皝并不想与后赵彻底决裂,恰逢此时前燕发生段辽谋反之事（此事很可能是慕容毁免除段氏后患的借口）,即诛杀段辽党羽数十人,并送段辽首于后赵,颇有示好之意。

但此时北方除了凉州的张氏外,仅有慕容前燕尚未被后赵吞并,为了统一北方,石虎必不肯轻易放过前燕。九月,石虎以抚军将军李农为使持节、监辽西·北平诸军事、征东将军、营州牧,镇守令支,以对抗前燕。李农与征北大将军张举一作石成率众三万攻燕凡城,慕容皝以榼卢城大悦绾为御难将军,率领一千人守城御敌。张举等进攻凡城十余日不克,于是转而攻陷广城。此后,石虎为了防备前燕频繁袭击辽西地区,将辽西民众迁徙到冀州之南。

咸康六年九月,慕容皝准备以攻为守,一主动出击石赵。因石虎将防守重点放在乐安城,而蓟城南北则防守松懈,故亲率部队二万从居庸关进袭后赵,直抵蓟城,后赵幽州刺史石光不敢出战。慕容皝又转而攻破武遂津,入于高阳,沿途焚烧后赵积聚,并掠徙幽冀民三万余户而回。咸康七年十月,后赵横海将军王华又从海道袭破前燕西安平。至此,燕赵双方均无力消灭对方,故转入长时间小规模的拉锯战之中。

在准备西进中原的同时,慕容皝也对周边的宇文部、高句丽等发动数次战争,逐步扫清西进的后顾之忧。咸康五年九月,就在石虎迁徙辽西之民后不久,慕容皝即出兵击高句丽,迫使高句丽乞盟。第二年高句丽王遣世子朝见慕容皝。同时,慕容皝又遣慕容恪、慕容霸（即慕容垂）击宇文别部。咸康七年十月,又以慕容恪为渡辽将军,镇守平郭。平郭为前燕抵御、震慑高句丽的军事重镇。慕容恪镇守平郭后,屡破高句丽,使高句丽不敢入境,为前燕稳定了东部。

与此同时,慕容皝又结好于拓跋部,此时的拓跋部已是除东晋外,前燕唯一能够联合的力量。咸康五年五月,什翼犍向慕容皝请婚,慕容皝以其妹慕容氏出嫁什翼犍,双方正式建立和亲关系。七年九月,慕容氏死去；十二月,慕容皝又遣使拓跋部,以宗族女嫁予什翼犍。

咸康五年冬,慕容皝因自称燕王并未得到东晋的认可,遣长史刘翔、参军鞠运以献捷的名义前往建康,并请求燕王的封号以及敦请东晋北伐中原。东晋大臣因慕容氏为少数民族豪酋,故都不主张授予慕容皝大将军、燕王的封号,争论持续了岁余。直到七年二月,刘翔终于说服中常侍荀弘,使之为慕容皝进言于成帝。

同时,慕容皝也上表称庾氏兄弟“擅权召乱”,宜加斥退，又予庾冰书,谴责其当国秉权,不能为国雪耻。庾冰见到慕容皝上书及书信大惧,又以慕容皝地处绝远,不是东晋所能控制,不如同意其请求,于是与何充上奏同意慕容皝的请求。

二月十六日,东晋正式加封慕容皝侍中、使持节、大将军、都督河北诸军事、幽州牧、大单于、燕王以世子慕容儁为假节、安北将军、东夷校尉、左贤王；赏赐军资器械以千万计,又加封慕容皝臣百余人并以刘翔为代郡太守,封临泉乡侯,加员外散骑常侍,刘翔拒而不受。七月,刘翔与使臣大鸿胪郭悕等回到棘城,慕容皝正式受封为燕王,并加封刘翔为东夷护军、领大将军长史,以唐国内史阳裕为左司马,典书令李洪为右司马,中尉郑林为军谘祭酒。

慕容皝与前燕：大挫后赵终获封燕王