当时正值初秋，皇帝启程出发，大部分的战将都跟随在侧，只有留守在都城的官员们，负责辅佐太子，因此得以免于随军出征。不过，这些留守的官员们都还是来为皇帝送行，一直送到了都城外的霸上。留侯张良，平日里就体弱多病，这次也强打起精神来送别。这大概是因为他长期修炼辟谷之术，身体比较虚弱。在临别之际，张良对高祖说：
“我本来应该跟随陛下一起去，但无奈我的病情加重了，不方便上路，只能暂时离开陛下。只是希望陛下此次出行，一定要随时小心谨慎，楚人性格勇猛剽悍，千万不要轻易与他们发生冲突！”
高祖点头说道：
“我会牢牢记住你的建议。”
张良接着又说：
“太子留守在京都，责任重大，陛下应该任命太子为将军，统领关中的军队，这样才能足够让众人信服。”
高祖再次采纳了张良的建议，并且嘱咐张良道：
“子房，你是我的老朋友了，虽然你现在身体不好，但还是希望你能在床上教导太子，这样我就可以放心了。”
张良回答道：
“陛下，叔孙通已经担任了太子的太傅，他的才能足以胜任这份工作，请您放心。”
高祖说：
“叔孙通本来就是一个贤能的臣子，但只靠他一个人恐怕难以应对所有事务，所以还得请你子房来帮忙。子房，你可以委屈一下担任少傅的职位，希望你不要推辞！”
张良于是接受了这一职位，回到了自己的岗位上。这一切都是为了更好地辅佐太子。接着，高祖又调集了上郡、北地和陇西的骑兵，以及巴蜀的精锐步兵，再加上中尉率领的三万士兵，让他们驻扎在霸上，作为太子的护卫军队。所有的部署都安排妥当之后，高祖才率领大军向东进发，军队按照顺序一队接一队地出发。
英布已经出动军队去攻占地盘，他一方面向东攻打荆国，另一方面向西攻打楚国。他在军队中发布命令说：
“汉帝已经年迈，肯定不会亲自出征。以前那些善于打仗的将领，只有韩信和彭越智勇双全，但现在他们都已经死了，剩下的人都不足为虑。只要你们能奋勇向前，我保证你们一定能取得胜利，甚至夺取天下也并非难事！”
士兵们听到这个命令后，于是首先向荆国发起了进攻。荆王刘贾在战斗中战败逃跑，最终死去。英布占领了荆国的土地后，又调转军队去攻打楚国。楚王刘交把军队分成三路，出城去迎战英布。有人对楚国的统兵将领说：
“英布善于用兵打仗，大家都对他很忌惮。如果我们把兵力集中起来抵抗，或许还能坚持一段时间。但现在我们把军队分成三路，势力和力量都被分散了。如果他击败了我们其中一路军队，其他的军队就会不战而溃，那样楚国就保不住了！”
然而，楚国的将领并没有听从这个建议。果然，在两军交战时，前路的军队被英布打败，左右的两路军队还没交战就自己溃散了，楚国的将领也逃跑了。就连楚王刘交也守不住淮西的都城，只能逃难到薛地去了。英布以为已经攻占了荆楚两地，正是向西进军的好机会，于是就像薛公之前预料的那样，他选择了较为稳妥但稍显保守的策略，沿着长江逆流而上向西进发。当他到达蕲州所属的会甄地区时，正好碰上高祖亲自率领的大军缓缓而来。英布远远望去，隐约看到了皇帝乘坐的黄盖车和左边的旄头旗，心中也不免感到惊讶（没想到高祖会亲自带兵前来）。虽然事情的发展并不完全如他所料，但此时他已经没有退路，只能硬着头皮，摆开阵势，准备与高祖一决高下。
高祖在庸城附近安下了军营，然后登上高处观察敌军的情况。他看到英布的军队非常精锐，所用的阵法也好像和项羽的很像，这让他心里很不高兴。于是，他立刻鼓舞激励各位将领，让他们出营去和英布交战。英布全副武装，站在阵前，高祖远远地对着他喊道：
“我封你为王，这也足以报答你的功劳了，你为什么还要兴兵动众，突然造反呢？”
英布被这么一问，也说不出什么正当的理由，只是随口回答道：
“做王又哪里比得上做皇帝呢？我也无非就是想当皇帝罢了！”
这话虽然直白，但也算痛快。高祖一听英布的话，顿时火冒三丈，狠狠地骂了他几句。接着，他挥动手中的鞭子，示意将领们依次冲杀出去，直捣英布的军阵。英布见状，立刻命令前锋部队放箭。箭矢像雨点般飞来，纷纷射向汉军。虽然不少汉军士兵中箭受伤，但他们依然奋勇向前，毫不退缩。高祖更是亲自冒着箭雨督战，毫无惧色。就在这时，一支箭突然飞来，高祖躲避不及，被射中了胸前。幸好他身披铁甲，箭矢没有深入，只是稍微嵌入了肉里几分，疼痛还在可以忍受的范围内。高祖用手捂住胸口，保护着受伤的地方，这反而激发了他的怒气，他大声呼喊着要杀敌。当将领们看到高祖即便中箭也依然奋勇呼喊时，他们深知作为臣子，应当为主公竭尽全力，于是纷纷争先恐后地冲向敌人，全然不顾个人的生死安危。只要还有一口气在，他们就决心要拼个你死我活。在密集的箭雨之中，他们硬生生地开出一条血路，一同冲进了英布的军阵。此时，英布的士兵手中的箭已几近耗尽，而汉军的气势却依然旺盛。眨眼之间，英布的军阵就被冲破，汉军如同生龙活虎般横冲直撞，势不可挡。英布的士兵们被打得七零八落，四处逃散，就连英布本人也无法制止这种溃败，只能带着剩余的骑兵，无奈地撤退。高祖仍然率领军队穷追不舍，一直紧逼到淮水边。英布的士兵在渡过淮水向东逃跑的过程中，因为担心汉军追上来，都急着游泳过河，结果很多人被水冲走了。等他们好不容易渡到对岸时，跟随的士兵已经不到千人，再加上一路上不断有人逃走，最后只剩下百余名骑兵还跟着他，这样的力量哪里还能守住淮南地区呢？英布此时已经山穷水尽，不敢再回都城，只能一心想着往江南方向逃窜。恰好此时，长沙王吴臣给英布写了一封信，邀请他到长沙避难。吴臣是吴芮的儿子，吴芮已经因病去世，由吴臣继承了王位。吴臣和英布是郎舅关系，也就是有亲戚关系。英布收到吴臣的信后，心里非常高兴，连忙改变了行进的方向，前往长沙。当他走到鄱阳时，晚上选择在驿站里住宿。然而，他没有料到的是，驿站里早已埋伏下了壮士。这些壮士突然冲出来攻击他。英布完全没有防备，结果被当场杀死。也许他的魂魄能和韩信、彭越等人的魂魄聚在一起，共同诉说彼此的苦难。大家不用多想就能猜到，这些杀死英布的壮士其实是长沙王吴臣派来的。吴臣得到英布的首级后，当然会把它献给高祖，以此来消除嫌疑并报功。虽然“大义灭亲”这种事并不少见，但用诱骗的方式将其杀死，总让人觉得有些不近人情。
那时候，高祖在前往其他地方的途中，顺便来到了沛县，探望故乡的父老乡亲们，就好像穿着华丽的衣服荣归故里一样。沛县的官吏们为了迎接高祖的到来，早早地就准备好了行宫，并且布置得非常隆重。等高祖一到，他们就出城跪在地上迎接。高祖因为是回到自己的故乡，对这些官吏也格外关照，就在马上向他们回礼，让他们起身，然后引导他们进城。百姓们也都扶老携幼，夹道欢迎高祖，一路上鲜花盛开，彩灯挂满街道，高祖看到这些景象，心里非常高兴。一进入行宫，他就立刻召集了父老乡亲和子弟们一起来见他，并且告诉他们不必拘束多礼，大家分坐在两旁。沛县的官吏们早就准备好了丰盛的宴席，并且已经布置妥当。高祖坐在宴席的主位上，他让父老乡亲和子弟们一同入席饮酒。接着，他又精心挑选了二百二十名儿童，教他们唱歌来为宴席增添欢乐气氛。这些孩子们用纯正的乡音，咿咿呀呀地唱了起来，高祖听了非常高兴。随着酒意渐浓，他的心情也愈发舒畅，于是吩咐身边的人把筑（一种古代的打击乐器）拿来放在他面前，他亲自击打节拍，随口唱起歌来：
“大风起兮云飞扬，威加海内兮归故乡，安得猛士兮守四方！”
大意是：
“大风猛烈地吹起，云彩在空中飘荡，我威震天下，如今回到故乡，可哪里能找到勇猛的战士来守卫国家的四面八方呢！”
唱完歌后，高祖让儿童们跟着学唱，一起合唱。这些孩子们非常聪明伶俐，一经教导，立刻就能学会，而且唱得抑扬顿挫，非常动听。高祖听了非常高兴，笑得合不拢嘴，他走下座位，随着音乐翩翩起舞，就像以前那个爱喝酒的无赖一样。跳了一会儿舞，他又回想起了以前的艰难岁月，不由得悲从中来，流下了几滴老泪。父老乡亲和子弟们看到高祖流泪，都感到非常惊讶，纷纷面面相觑。高祖也注意到了大家的反应，于是向众人说道：
“游子思念故乡，这是很正常的情感。我虽然把都城定在了关中，但将来我死后，我的魂魄还是会依恋着这片故土，又怎么能忘怀呢？而且我是从沛县起兵，才得以铲除暴政，幸运地拥有了天下。这个地方对我来说意义重大，就像是我的沐浴之地一样，所以从今以后，这里的百姓可以免除赋税和劳役，世世代代都不再需要缴纳。”
大家听了高祖的话，都纷纷趴在地上磕头感谢。高祖让之前跪拜的人起身回到座位上，大家又继续喝了几轮酒，直到晚上才结束宴席散去。到了第二天，高祖又派人去请武负、王媪以及亲朋好友家中的老妇人们来参加宴席。这些妇女们不太懂宫廷的礼节，高祖就让她们都免礼了，大家只是简单地行了个礼，双手交叠放在身前然后弯腰下拜，就算是见过面了。简单地行完礼后，她们就按照次序入座了。高祖和她们一起回忆着过去的往事，大家都非常开心，边笑边喝酒，又这样度过了一天。之后，无论是男是女，高祖都为他们设宴款待，这样的宴会持续了十多天。当高祖准备出发的时候，父老乡亲们再三请求他再多留几天。高祖对他们说：
“我这次来带的人很多，马匹也不少，每天都需要大量的物资供应。如果我再继续留下来，岂不是会给我的父老乡亲们增加负担吗？所以，我只能和大家说再见了！”
于是，他下令准备启程。
父老乡亲们都非常舍不得高祖，因此都准备了牛和酒，在沛县的西边为他送行。高祖的车驾一出动，整个沛县几乎都空了，大家都来为他送行。高祖非常感激父老乡亲们的深情厚谊，于是下令在沛县的西边临时搭建帐篷，与大家一起喝酒。这一喝，转眼之间又过了三天，高祖才决定与大家告别。这时，父老乡亲们又跪在地上，向高祖请求道：
“沛中已经免除了赋税和劳役，但是丰邑还没有享受到这样的恩惠，还请陛下能够怜悯我们！”
高祖说：
“丰邑是我长大的地方，我自然更不会忘记。只是从前雍齿背叛了我，而丰邑的人又都愿意帮助他，他们实在是对我太过无情。但现在既然父老乡亲们一再请求，那我就一视同仁，也免除丰邑的赋税和劳役吧。”
其实雍齿现在已经被封侯了，高祖又何必再怨恨丰邑的人呢？父老乡亲们再次代表丰邑的人向高祖叩头致谢。高祖等他们谢完之后，拱了拱手就上车，向西离去了。父老乡亲们回到沛县后，就在高祖住过的行宫前建起了一座高台，命名为“歌风台”。高祖在前往淮南的途中，接连收到了两个好消息，心里非常高兴。
这两个好消息一个是长沙王吴臣派人送来的，献上的是英布的首级。高祖仔细查看验证后，确认无误，便颁布了诏书褒奖吴臣的功劳，并让送信的人带回诏书。另一个消息是周勃发来的捷报，说是在追击陈豨的过程中，他们在当城打败了陈豨的军队，刺死了陈豨，现在已经完全平定了代郡以及雁门、云中这些地方，等待高祖的诏书来决定后续的行动。高祖立刻又发了一道诏书给周勃，让他带领军队返回。只有淮南已经封给了儿子刘长，楚王刘交也回到了他原来的封地。但是荆王刘贾在逃跑过程中去世了，而且没有留下子嗣。因此，特别将荆地改设为吴国，并立了兄长刘仲的儿子刘濞为吴王。刘濞原本是沛侯，刚满二十岁，体力过人。在这次高祖讨伐英布的战争中，刘濞也随行出征，并且在战斗中他总是冲在最前面，杀敌众多。高祖考虑到吴地民风彪悍，需要一位强壮有力的王来镇守，才能确保没有忧患，于是特别任命刘濞为吴王，镇守吴地。刘濞在接受任命后来向高祖谢恩，高祖仔细地打量他，发现他面貌粗犷且带着一股隐隐的杀气，不由得心生懊悔。他带着一丝惆怅对刘濞说：
“你的相貌看起来有反叛的迹象，这可怎么办呢？”
说到这里，高祖又觉得自己已经发出的命令不好再收回，感到非常为难。刘濞听后心里暗暗吃惊，立刻趴在地上。高祖则抚摸着刘濞的背说：
“汉朝以后五十年，东南地区可能会有动乱，难道会应验在你身上吗？你应当记住，天下同姓的人都是一家人，千万不要有反叛的念头，切记！切记！”
既然已经看出刘濞有反叛的面相，高祖为何不直接收回封他为王的命令呢？而且关于五十年后会发生动乱的预言，高祖又是如何预知的呢？这可能是因为史书的记载有时喜欢夸大其词，所以这样的记载并不完全可信。刘濞听后连连表示不敢有反叛之心，高祖这才让他起身，又叮嘱了他几句，然后才让他离开。刘濞随即整理好行装，启程前往封地。从此以后，高祖的子弟们被分封到了八个诸侯国，分别是齐、楚、代、吴、赵、梁、淮阳、淮南。除了楚王刘交和吴王刘濞外，其他的都是高祖的亲生儿子。高祖认为他们都是自己的骨肉至亲，应该不会有反叛之心。即便是已经显露出反叛迹象的吴王刘濞，高祖也只是把他当作侄子看待，认为不必太过担心。然而，谁能料到后来竟然发生了那么多意想不到的事情呢？这个我们暂时先放一放，以后再说。
高祖从淮南出发后，向东行进，途中经过了鲁地。他派遣官员准备了丰盛的祭品，去祭祀孔子。等祭祀完毕后，官员回来复命，高祖便改道向西行进。但在途中，高祖的箭伤又发作了，他不得不匆匆进入关中，回到长乐宫休息，一连躺了好几天。戚姬早晚都守在高祖身边，看到他不停地呻吟，心里非常担忧。于是，她找机会向高祖进言，再三请求高祖一定要保全他们母子的性命。高祖心里暗自思量，只有废掉现在的太子，立戚姬的儿子为太子，才能确保他们母子的安全。因此，他决定再次提起这件废立太子的事情。张良担任着太子的少傅这一职位，从道义上讲，他不能对这件事情置之不理，于是便首先入宫向高祖进谏，说了很多劝阻的话，但高祖就是不理会他。张良心想，自己平时进言的时候，高祖大多都会听从，但这次却完全听不进去，好像有什么隔阂一样。张良觉得自己再劝下去也没什么用，不如先退回去。于是，他连续好几天都关着门，不见客人，对外宣称自己生病了，不能出门。当时，太子太傅叔孙通被高祖的行为激怒了，他入宫强烈地劝谏高祖说：
“以前晋献公因为宠爱骊姬而废掉了太子申生，结果晋国因此混乱了好几十年。秦始皇因为没有早点立扶苏为太子，最终导致了国家的灭亡，这些可都是陛下您亲眼见证过的历史教训啊。现在我们的太子既仁慈又孝顺，这是天下人都知道的。吕后与陛下您一起经历了无数的艰难困苦，并且只生下了太子这一个孩子，您怎么能无缘无故地就背弃他们呢？如果您一定要废掉嫡长子而立年幼的孩子为太子，那我情愿先死，就用我的鲜血洒在地上来表示我的决心和抗议！”
说着，叔孙通便拔出了剑，想要自杀以表决心。高祖慌忙摆手，叫他不要这样做，并对他说：
“我不过是随便说说而已，你怎么能把它当真呢？竟然要用自杀的方式来劝谏，千万不要这样误会我呀！”
叔孙通便把剑放了下来，回答道：
“太子是国家的根本，一旦根本动摇，国家就会震动，怎么能把国家大事当作儿戏呢？”
高祖说：
“我听你的话，不更换太子就是了！”
叔孙通便退了下去。接着，朝廷内外的群臣也纷纷上书，坚决反对更换太子，这让高祖陷入了两难的境地。他既不便强行违背众人的意愿，又不好过分拒绝自己宠爱的妃子，于是只好暂时把这件事搁置起来，以后再想办法。
后来，高祖的伤势稍微好转，他便在宫中设宴，特别邀请了太子刘盈来陪同。太子刘盈应召入宫，同时，那四位老者（四皓）也一同跟了进来。等太子行完礼后，四位老者也都走上前来拜见高祖。高祖看着他们，只见他们胡须和眉毛都像雪一样白，相貌威严庄重，心中感到非常惊异。于是，高祖便问太子：
“这四位老者是谁呢？”
太子还没来得及回答，四位老者已经自我介绍了他们的姓名。高祖听后，惊讶地问道：
“你们就是商山的四位贤士（四皓）吗？我寻找你们已经好几年了，你们一直躲避我，不肯出山。现在为什么突然来到这里，还跟随我的儿子一起出游呢？”
四位老者（四皓）一起说道：
“陛下您过去轻视士人，又常常出口伤人，我们讲究道义，不愿受此侮辱，所以才没有遵从您的命令前来。现在我们听说太子仁厚孝顺，对待士人恭敬有礼，天下的人都伸长脖子仰慕他的道义，愿意为他效死。我们体察到民众的心意，所以特地远道而来，希望能辅佐太子。”
高祖听后，慢慢地说道：
“你们愿意来辅佐我的儿子，我还有什么好说的呢？只希望你们能始终如一地保护他，不要让他失去德行。”
四位老者恭敬地听从命令，并按照顺序举杯向高祖敬酒祝寿。高祖勉强接过酒杯，并让那四位老者（四皓）一同坐下，几人一起喝了几杯酒。大约过了一两个小时，高祖总觉得心里不太痛快，于是就吩咐太子先行退席。太子站起身来，四位老者也跟着站起来，跟随着太子，向高祖行礼告别后离开了宴会。高祖急忙把戚姬叫到身边，指着那四位老者对她说：
“我本来打算改立太子，但你看，那四位老者已经站在太子那边辅佐他了，太子的势力已经稳固，很难再有所改变了。”
戚姬听到高祖的话后，眼泪立刻流了下来。但高祖知道，女人只知道流眼泪是没有用的。他安慰戚姬说：
“你也不要太过悲伤，要知道人生自有定数，随遇而安吧。你就先为我跳一支楚舞，我来为你唱一首楚歌。”
戚姬虽然无奈，但也只能听从高祖的话。她在席位前扬起翠绿的衣袖，轻盈地跳起舞来。高祖则思考了一会儿，很快就构思好了歌词，随即高声唱道，歌词大意是：
“天鹅高高地飞翔，一飞就是千里远。它的羽翼已经丰满，可以横渡四海。它已经横渡了四海，我们又能拿它怎么办呢？即使有捕鸟的绳索，又能往哪里施展呢？”
高祖唱完一遍又一遍，反复吟唱了好几遍，那音调听起来十分凄怆。戚姬本来就懂得文学，听着歌词的意思，越发觉得悲伤从心底涌来，无法再继续跳舞，干脆就掩面痛哭，泪水像下雨一样流个不停。高祖看到这样的情景，也没有心情再喝酒了，他吩咐下人撤掉宴席，亲自带着戚姬回到内室。他尽力用温柔的话语安慰戚姬，让她不要太过悲伤。但从此以后，关于废立太子的问题，高祖却再也没有提起过。其实，太子本来就不应该轻易废立，但如果想要保全戚姬，难道就真的没有其他办法了吗？