"哥老会一事，尤为莫大之患"
然而，湘军后来出现的种种问题，正是"各有宗派，上下相亲"的军队私有化体制所致。我们且看这种体制，是如何让哥老会混进湘军，进而对军队造成了什么样的影响。
随着镇压太平军力量的扩大，兵源日益吃紧--湘军自建军以来至攻占天京，阵亡病故伤残约八九十万人，以湖南一省提供如此巨额青壮年，兵源肯定紧张。另一个原因是，一旦统领死了，该队伍就得遣散，需要重新招募。兵将都不是那么好招，曾国藩曾哀叹："朝取夕取，网罗殆尽，刻下不特将领难得，即招募精壮勇丁，亦觉难以集事。"一些将领只好把一些流氓地痞，甚至"哥老会"成员也招了进来。有学者作过统计：在霆军中做过统领或营官的有13人，其中湖南籍6人，四川籍4人，籍贯不明者3人。四川籍约占一半。
"哥老会"本来是黑社会，在四川地区哥老会叫"袍哥"。"袍哥即烧香结盟之党也。流于匪类者，谓之会匪。普通之名词，皆称袍哥"。在湘军的招募中，哥老会大量潜入，潜入本来也没有什么，完全可以进行正规化改造，可湘军的体制非但不利于对哥老会的改造，还为其发展提供了肥沃的土壤。哥老会通过在军中散播患难相助，祸福同当的会党义气，很能俘获人心，在军中造立山名堂名、竖盟旗，建立秘密的哥老会组织，由一而十，十而百，百而千，组织不断扩大。
"异姓结拜"在清律中是明文禁止的，只是湘军基本上是私人武装，清政府较少插手，而曾国藩对军中"异姓结拜"有过变相支持态度，认为将士应该："呼吸相顾，痛痒相关，赴火同行，蹈汤同往，胜则举杯酒以让功，败则出死力以相救。贼(指太平军)有誓不相弃之死党，吾官兵亦有誓不相弃之死党。"既然鼓励官兵视同死党，而哥老会就是要把会员之间结成死党，两者可谓不谋而合。
军中的哥老会壮大后，势力盘根错节、支干互生，江湖人士的习性日益暴露出来，滋事骚扰时有发生。如1865年5月，安徽徽州府休宁县各营相继闹饷哗变、殴伤道员。据《吴煦档案》记载，同年，杭州湘军蒋益澧部哥老会欲谋杀蒋益澧，抢劫司库，但事泄未成，蒋益澧大肆逮捕哥老会员，杀害30多人，其中包括"二、三品赏职之人"，并搜出哥老会"人名簿子"。且仅在这一年中，各军规模较大的哗变就达十多次，有的部队哗变后，与政府军对抗，最后反加入了太平军余部。骚乱扰民之事也甚多，以致民有"官兵不若长毛"之叹。连曾国藩也不得不承认："哥老会一事，尤为莫大之患。"
湘军将领对军中哥老会并不是没有整治、肃清，早在1859年，曾国藩制定湘军营规时，就提到"禁止结盟拜会：兵勇结盟拜会，鼓众挟制者严究；结拜哥老会，传习邪教者斩！"次年，左宗棠在长沙编练新勇，将勇丁结拜哥老会列为"行军五禁"。可见，湘军将领深刻意识到军队被黑社会侵染的危害，也采取了必要措施来防范。但成效并不理想。军队黑社会化之势已逐渐蔓延，一些统领为了方便带队伍，也加入哥老会，有军官和黑社会老大的双重身份，江湖中的种种弊病就像草树遇到沃土迅猛生长，闹出种种骚乱、哗变并不为奇。
有人说，曾国藩裁撤湘军是为了向清廷表忠心，自己并没有打算手握一支庞大的私人武装，因之并无意对抗朝廷。这确实没错，曾国藩并不打算凭借私人武装向清廷叫板，且对于曾国藩来说，另外两个现实或许更为紧迫：一是湘军赖以生存的后方基地湖南财力匮竭，无钱养兵，必然导致士兵索饷哗变、扰民乱世，曾国藩好不容易积累的政治地位必然难保；二是此时的湘军受哥老会多年浸淫，已经严重黑社会化，弊病重重，难堪重用。在这种情况下，"裁一勇即节一勇之靡费，亦即销无穷之后患"。
1866年，曾国藩写信给朋友陈鼐说："幸鄙人见机尚早……两年间，湘勇遣撤将毕，幸全体面，差强人意。否则变端尚多，岂仅微防之闹，成部之叛哉！"曾国藩主动裁撤湘军，在客观上形成了功成身退、避免疑忌的效果，受到清廷赞赏，收获了"立功、立德、立言"的圆满人生。
湘军是裁撤了，但哥老会仍在，并影响着中国近代历史进程。譬如辛亥革命爆发的导火索四川保路运动，哥老会就是抗击清军的重要力量，对保路成功起到关键作用。又譬如民国时期，哥老会在川内迅速繁衍，大军阀刘文辉就是袍哥头目，邓锡侯、刘湘、杨森等军阀中，哥老会占绝大多数。有统计称，川军总数中，参加袍哥的占60%。军队黑社会化造成军阀混战，四川连年动荡不安，从1921年至1933年，四川发生了大小战争479次，平均每年达20次以上。
而清末的湘军与淮军，对此后中国政治、军事格局的影响同样深远。有学者就认为，湘、淮军在镇压太平、捻军之后，一部分军队裁撤，大部分留驻各地成为防军，并逐步取代原有的八旗、绿营而成为清朝的常制军队。随此而出现的，是湘、淮军集团控制了全国许多省区地方政府的实权。清朝末年，湘、淮两个集团，分別长期盘踞了两江总督兼南洋大臣、直隶总督兼北洋大臣的重要职位，形成相当大的地方势力。而后来袁世凯的新建陆军，正是继承了湘、淮军衣钵，并在此基础上发展成为祸国殃民的北洋军阀集团。
