这只是大家所熟悉的前半段，然而故事并没有完。走上仕途的匡衡，在朝廷中参议大政，引经据典，阐明法理道义，很受赞赏，由此升任为光禄勋、御史大夫，后来又升来丞相，封为乐安侯。
位高权重之后他也走上了贪脏罔法徇私舞弊的路，外斥异己并对有污点的陈汤以及众多功臣进行打压。汉元帝时，宦官中书令石显专权，排挤陷害贤良。匡衡也害怕他，不敢指摘。汉元帝去世之后，汉成帝即位，匡衡和御史大夫甄谭联手弹劾石显，揭露他和党羽的种种罪恶。
石显和爪牙都受到应有的惩办。但朝中大臣也有人认为，匡衡身为辅政大臣，早年不及时参奏揭发，却阿谀曲从，没有尽到责任，对他提出弹劾。匡衡也自感惭愧，一再请求辞职，后来终于司隶校尉骏等告其多因占封地的事被罢了官，被免为庶人。
