曹操死后，臧霸为何要带部队离开，其实不是自愿的，而是因为他并不支持曹丕继承魏王，被迫离开。

所以在《魏略》中记载：“建安二十四年，霸遣别军在洛。会太祖崩，霸所部及青州兵以为天下将乱，皆鸣鼓擅去。”

臧霸，黄巾作乱时，臧霸跟随陶谦破黄巾，拜为骑都尉，并且收兵于徐州。后与孙观、吴敦、尹礼等聚合军众，臧霸为统帅，屯于开阳一带，自成一方霸主。在公元197年(建安二年)与吕布合作，在公元198年(建安三年)，曹操攻打吕布，藏霸帮助吕布共同攻打曹操，但是随后吕布失败之后，曹操招降臧霸，并未收其兵权，拜臧霸为琅邪相，继续统领青、徐二州，并在之后的对袁绍之争和对抗孙吴政权的战役中，出工出力，协助曹操大破袁绍，击退孙吴政权的进攻，一时间成为曹操心腹力量。

因为，曹操对于臧霸那是信任，并给予他在青徐二州一定的管理权限，并在胜仗之后进行封赏，而曹丕则不同，曹丕一支想重用曹休，并让曹休取而代之臧霸。

《三国志 魏书十八》：文帝即王位，迁镇东将军，都督青州诸军事。及践阼，进封开阳侯，徙良成侯。
《三国志》注引《魏略》：文帝即位，以曹休都督青、徐。

曹丕，一继承王位，就安插曹休在青徐二州，可见对臧霸的不信任，这也就是开始了曹丕正式夺取臧霸兵权的第一步，所以在听闻曹丕继承王位的时候，藏霸心里也清楚，曹丕不会像曹操那样信任自己的，所以自己才走的。

即使在之后，臧霸为曹魏在立战功，但是臧霸也只是换来了，官位上的升迁，但实际的兵权渐渐地被曹丕削去。

公元222年(黄初三年)，曹休督领张辽、臧霸等人，在洞口一带征讨吴将吕范，在此时臧霸已经听命于曹休的指挥。

《魏略》中有记载：帝疑霸军前擅去，今意壮乃尔，遂东巡，因霸来朝而夺其兵。”

曹丕“东巡”，发生在黄初四年，也就是在这时候，臧霸已经在无兵权。

可以看出臧霸知道曹丕对待自己的态度，才会出走而并没有反对曹丕，也是明智的选择，以至于臧霸能够得以重享晚年，在公元243年(正始四年)七月，臧霸得享从祀於曹操庙庭，从而善终。