解放战争时期，为支援中原、苏北解放区的自卫战争，中国人民解放军晋冀鲁豫军区司令员刘伯承、政治委员邓小平率军区野战军主力第2、第3、第6、第7共4个纵队，出击陇海铁路徐郑段，迫使蒋介石从中原、苏北前线抽调14个整编师32个旅来对付晋冀鲁豫解放军。解放军连续进行了数个战役，歼灭国民党正规军6万余人，将国民党军30余万人牵制到黄河岸边，解放军则转移到黄河以北休整，准备再战。
1946年11月下旬，在我晋冀鲁豫解放区周围，国民党军再次集结了正规军28个旅，连同地方团队，共达30万人以上的兵力，企图向我解放区中部实施主要突击，寻找解放军主力决战，并实现其打通平汉铁路的计划。为粉碎国民党军的企图，刘伯承、邓小平遵照中共中央军委指示，实行"敌进我进"的方针，除以主力一部及地方武装伪装主力迷惑北进之敌外，以主力3个纵队附地方武装一部乘虚南下鲁西南地区，寻机歼敌。
12月22日，晋冀鲁豫野战军一部围攻山东聊城，主力由范县以北地区南下，揭开了巨(野)金(乡)鱼(台)战役的序幕。
解放军围而不打
1946年12月31日，晋冀鲁豫野战军第3、第7纵队两部以突然动作包围巨野，当晚发起总攻，于1947年元旦拂晓攻克，全歼国民党守军，俘少将总队副司令王自琴以下3000余人。晋冀鲁豫野战军收复巨野后，立即挥戈东向嘉祥。嘉祥的国民党驻军闻讯后弃城逃往济宁，嘉祥遂于元旦晚8时获得解放。
晋冀鲁豫野战军第6纵队于进军城武途中，得到情报说：金乡国民党驻军整编第88师的新编第21旅，为冀鲁豫独立旅所吸引，大部在金乡以南地区"清剿"，该城仅余1个团守备。于是纵队改变计划，迅速奔袭金乡。与此同时，国民党军新编第21旅也发现了晋冀鲁豫野战军部队来袭，于是立即命令其外出"清剿"的部队收兵。晋冀鲁豫野战军第6纵队于12月30日包围金乡时，国民党部队已经回到了金乡城里。1946年12月31日及1947年元旦，晋冀鲁豫野战军发动了多次进攻，但由于火力较弱，致使一部分部队在突入城中后，在国民党军重武器的反击下被迫撤出。
晋冀鲁豫野战军
虽然暂时守住了城池，但国民党守军也付出了相当大的伤亡。鉴于此，国民党新编第21旅赶紧向徐州、郑州两地的国民党绥靖公署告急求援。为确保金乡，蒋介石命令徐州绥靖公署薛岳、郑州绥靖公署顾祝同立即派兵增援。
被包围的新编第21旅属于国民党军88整编师方先觉部，而方先觉的国民党整编88师受徐州绥靖公署薛岳的直接指挥。薛岳和方先觉两人早在抗战期间就存在矛盾，1946年8月，薛岳上任后，就把方先觉的新编21旅配属给整编第11师作战，以达到其削弱方部战力的目的。
