但是自传说也有一些致命的弱点，又令人对曹雪芹作为作者产生了很大的怀疑。比如，如果《红楼梦》确实是曹雪芹的自传体小说，书中的很多人物都是以曹家子孙甚至长辈为原型，那书中的男性人物如何普遍地形象不堪呢？曹雪芹会大面积地对其家族的男性人物持负面看法，并在书中如此无情地映射和讥刺吗？再如，如果曹寅真是曹雪芹的祖父，曹雪芹也确实是此书的作者，按说他应该在书中对其祖父的名字有所避讳，即使不避讳，也不至于拿“寅”字开玩笑，小说中为何借薛蟠之口先是把“唐寅”二字念为“庚黄”，此后又说：“谁知他是‘糖银’是‘果银’的”。对于这种情况该作何解释呢？
对于所谓自传说更加不利的是，在有关曹雪芹祖父曹寅家的两个家谱中，都找不到曹雪芹这个人，而古人却是非常重视家谱的。对此欧阳健先生指出：“现在人们看到的曹氏家谱，绝无‘曹霑’之名，甚至连‘曹雪芹’也没有，那么，这个家谱要么就是假的，要么就与这位‘曹霑’毫无关系，二者必居其一。”而且，曹寅有一号为雪樵，古代给孩子起名、取号，非常注意避讳，如果曹雪芹真是曹寅的孙子，如何又能与其爷爷的号重字呢！一些研究者在考证曹雪芹的来历时，实在是茫无头绪，两眼一抹黑，于是出现乱猜测，有人猜曹天佑是曹雪芹，有人猜曹寅儿子曹颙之妻马氏遗腹子是曹雪芹，还有人猜曹頫儿子是曹雪芹。所有的猜测都不能满足一个重要的前提条件，那就是曹雪芹究竟是不是曹寅家的人呢？这个关键性的问题至今都没有解决。