但是我们也应注意到，与西方阐释学、接受美学只重读者的观念不同，王夫之的“四情”说在关注读者的同时，并未忽视作者和作品的重要作用，“兴观群怨”是一个“作者用一致之思，读者各以其情而自得”的双向交流过程。
首先，读者“各以其情遇”的个人化解读固然重要，但作品中能够启诱读者无穷兴会的丰富意蕴也不能忽视。王夫之所谓“延年不如康乐”，就是从作品的启发性维度做出的比较。他批评颜延之的诗“一致绞直，遂使风雅之坛，有讼言之色”[39]，意即颜延之的诗平直单调如诉讼之辞，没有什么启发性，是无法使读者“各以其情遇”的，因此不如谢灵运的诗。诗之可贵，就在于给人们提供了一种可兴、可观、可群、可怨，“随所以而皆可”的优秀文本。
其次，在诗歌接受过程中，王夫之虽然更强调作品与读者间的差异性而非一致性，但他也提到，这种求异性思维绝非天马行空、胡乱臆测，它仍然要受到作品的一定程度的限制。谢叠山（即谢枋得）解诗喜欢在诗歌原意之外穷索钩隐，牵强影射，如评韦应物的《滁州西涧》是以君子喻诗人，以小人喻黄鹂，以国家多难喻“春潮带雨”[40]，完全将诗歌僵化地附会于政治。王夫之对这种离开作品原意而故意穿凿附会的解诗之法十分厌恶，极为鄙夷。他又说：“如右丞《终南山》作，非有所为，岂可不以此咏终南也？宋人不知比赋，句句为之牵合，乃章淳一派舞文陷人机智。……如此作（指杜甫《野望》——引者注）自是野望绝佳写景诗，只咏得现量分明，则以之怡神，以之寄怨，无所不可，方是摄兴观群怨于一炉锤，为风雅之合调。俗目不知，见其有叶落、日沉、独鹤、昏鸦之语，辙妄臆其有国削君危、贤人隐、奸邪盛之意；审尔，则何处更有杜陵耶？”[41]在王夫之看来，解诗活动不能离开原诗所指向的情感区域，他所追求的是建立在准确理解作品本意基础上的自由联想，而非牵强影射的主观臆断。