各省举人在松筠庵的集会是存在的。康有为原计划召集各省举人于5月1日至3日在松绮庵连续开会三天，让大家传阅、讨论自己起草的"万言书"，鼓动大家在上面签名，而后于5月4日集体至都察院呈递。5月1日，来者甚多。但5月2日到松筠庵开会的人已经只剩数十百人了，5月3日就再没有人到松筠庵去了。举人的退出的主要原因是当时光绪皇帝已经盖玉玺、批准了条约。当然这也和部分举人已经上过书表达过意见了、受到了政治压力、对康有为不信任或不赞同万言书的主张等因素有关。还有一个现实原因是，考试发榜了！举人们来北京的主要目的是考试，一发榜注意力马上就被金榜吸走了，哪还有人关注所谓的上书。其中，多次名落孙山的康有为得中了进士，后授工部主事一职 有人揣测这是朝廷在多事之秋，消除隐患，拉拢着名"持不同意见者康有为"的举措。
至此，所谓的千人大上书夭折了。千人联署应该在经过大家传阅、讨论没有异议之后才能签字生效。可如今连人都走光了（一些第一天同意联署的举人还专门派人来告诉康有为，撤回对康有为和万言书的支持），联署的程序都完成不了，更不用说生效了。至于千人同去都察院集体上书的故事更是无中生有。戊戌变法期间出版的康有为年谱第一版和时人的笔记、报刊都表明，千人大上书最后流产了。
康有为和后世所谓的一千三百名举人可能是根据来过松筠庵参加会议的"知单"或签到簿炮制的。它反映的只是参加会议的人数。有人对这个参会人数也表示怀疑：北京的小四合院能够容纳下一千三百人集会吗？就算这么多人在院子里人压人挤下了，北风凛冽的冬天还不把人给冻伤了啊？
事实上，康有为在没有人附和后，把亲笔写的万言书束之高阁。他根本就没把上书呈递上去。
退一万步来说，就算康有为拉到了上千人联署，也拿着万言书去了都察院，公车上书也还存在一个逻辑上的重大漏洞：当时并不存在阻碍举人大规模上书的政治障碍。举国上下，上自慈禧太后，下自贩夫走卒，都认为对日和约是丧权辱国的城下之盟。主流政治风气是批评和约的，那么上书反对和约，既是"爱国"行为，又是绝对"安全"的举动。当时朝廷收到的上书很多，来不及重新抄写（按制，给皇帝的上书要重新誊写清楚），就直接送入宫中"御览"了。都察院收了那么多上书，为什么就不收康有为的千人大上书呢？想想上千举子是多大的一个群体，当中还有本67科大考的状元和几百员进士呢，都察院的办事官吏胆敢得罪这么一个大势力吗？
