英布被封为九江王后,就开始拥兵自重,不大听从项羽指挥了。项羽与齐王田荣作战,向九江征兵。英布称病不出,只派出几千军队去敷衍。刘邦攻打彭城,英布又称病,见死不救,致使彭城陷落。虽然项王因怨恨英布,屡次派使者前去责备英布,但仍旧没有攻打他,这是因为当时项王正为北方的齐国、赵国担心,西边又忧患汉王起兵,唯有任用英布,于是打算亲近他、任用他。
汉三年,刘邦攻打楚国,派随何出使淮南,游说英布叛楚归汉。经过随何的一番游说,英布暗中答应叛楚归汉。楚国使者促英布出兵,住在宾馆里。随何告诉楚国使者:“九江王已归附汉王,楚国凭什么让他出兵?”随何又劝英布杀死楚国的使者,又说:“我们赶快向汉靠拢,协同作战。”英布于是出兵攻打楚国。在淮南战役中,英布败给了楚国大将龙且。英布和随何从隐蔽的小道逃归汉国。
英布背叛项羽,究其原因是因为,项羽刚愎自用,没有给大功臣英布太多的好处。英布在项羽手下,英勇杀敌,屡屡立功,堪称是为楚国做出最大贡献的人,却没有得到最好的待遇。恰好此时,刘邦派随何以优待游说,于是英布就背叛了项羽。