当毛泽东受到以王明为代表的"左"倾错误路线的打击，被撤销红一方面军总政委和前委书记职务时，陈伯钧也因坚定地支持毛泽东的主张被免去红十五军军长职务，调到红军学校学习。任红五军团参谋长时，陈伯钧因不满当时一些人在反"围剿"中的错误指挥，曾上书红军总部明确表达自己的观点，遭到错误批判，被降职为红十三师师长。但陈伯钧始终充满革命乐观主义精神，他率领的红十三师常常能在短时间内力克强敌，连打硬仗，曾被中革军委誉为"红军坚师"，毛泽东曾因看了该师连打胜仗的战报，兴奋地喊过"十三师万岁"。
1934年10月18日，在第五次反"围剿"失败的大背景下，陈伯钧率部开始长征。他指挥的十三师为红一方面军全军后卫，掩护兄弟部队先后突破敌人四道封锁线。抵达湘江前，五军团参谋长刘伯承派人给他送来中央驻五军团代表陈云同志的一封信，说"这是紧急关头，关系中国革命的命运，希望你们下最大决心，赶快拉过湘江"。
陈伯钧临危不惧，身先士卒，把坐骑让给了伤病员，亲率十三师在敌人夹击中打了一整天阻击战，十三师指战员前仆后继，终于掩护整个方面军渡过湘江。陈伯钧也因此在红军高级将领中获得了"铁屁股"的美誉。刘伯承元帅后来评价："十三师是我最放心的师!"当时任一军团政委的聂荣臻元帅，1972年在北戴河疗养时曾深情地对陈伯钧说："要不是你的十三师在湘江战役与敌苦战一整天，我们前面的部队没那么顺利渡江，就不知是什么结局了。"
