被他整得一败涂地的苏东坡，倒有机会在金陵与这位不可一世的王安石，有一面之缘。“东坡过金陵，荆公野服乘驴，谒于舟次。东坡不冠而迎揖曰：‘轼今日敢以野服见大丞相！’荆公笑曰：‘礼岂为我辈设哉？’东坡曰：‘轼亦自知相公门下用轼不着。’荆公无语。乃相招游蒋山。在方丈饮茶次，公指案上大砚曰：‘可集古人诗，联句赋此砚。’东坡应声曰：‘轼请先道一句。’因大唱曰：‘巧匠斫山骨，’荆公沉思良久，无以续之。乃起曰：‘且趁此好天色，穷览蒋山之胜，此非所急也。’田画承君，是日与一二客从后观之，承君曰：‘荆公寻常好以此困人，而门下士多辞以不能，不料东坡不可以此慑伏也。’”由这样一个小场面，便活画出东坡的率真和王安石的矫情，也写出东坡之屡败和王安石所以能得意一时的原因了。
但王安石最后还是终于失败了，倒不是正人君子把他挤出了朝廷，善与恶较量，善是绝对不会操胜算的。相反，恶与恶斗，倒必有一场全武行的好戏。王安石实际是败在了他一手提拔的吕惠卿手里。苏轼在南京见到下野的拗相公时，还曾好心地关注他过去一些政治上的举措得失。他连连摆手说：“别问我，别问我，现在已是吕惠卿主政了。”而且还神秘兮兮地对苏轼交待：“此话出于我口，入于你耳，万万不可使他人所知。”