9月11日，由汪精卫、孙科、谭延闿三人出面，邀请在沪国民党各方人士，在戈登路伍朝枢的寓所开“谈话会”。到会的有汪精卫、谭延闿、孙科、李烈钧、李宗仁、程潜、张人杰、蔡元培、吴稚晖、李煜瀛、朱培德、伍朝枢、叶楚伧、张继、邹鲁、于右任、杨树庄、谢持、许崇智、覃振等宁汉沪三方要人二十多名。胡汉民拒不参加。这时，蒋介石正在溪口雪窦寺内，听朗清和太虚法师讲经算卦，汪精卫亦向蒋氏发了电报，邀蒋氏参加，蒋氏不予理睬……
“谈话会”共开了3天，几派的话总算谈到了一起，都同意成立特别委员会。产生了32人的组成名单，推举谭延闿为国民政府主席，拟定了宁、汉、沪合作宣言和通电稿，又拟定了政务委员会组成的名单。以汪精卫、胡汉民、谭延闿、蔡元培、李烈钧5人为常委。到了这时候，汪精卫才知道自己钻进了桂系、西山会议派，谭延闿、孙科这数方势力所做好的圈套里了。这个特委会，把他的“正统”中央地位打破了，他那合法的领袖地位也给剥夺了，昔日政敌均扶摇直上。汪精卫立时火冒三丈。9月12日，通电下野。汪后来于此回忆道：
“倘使当时中央第四次全体会议能在南京开成，则党中有中枢，一切权力皆属于党，一切军事行动，皆取决于党，此等枝节不成问题。无如当时中央第四次全体会议被挫，南京为特别委员会所窃据，武汉政治分会方起矫正，势成对峙。不先解决党的问题，则军事问题无从解决。”