清光绪年间的一天，天正下着雨，福州诗人陈衍听着雨点落入鱼池和拍打芭蕉叶的声响，激发诗思，于是集资重修亭阁、花厅、鱼池、芭蕉园等，并名曰“听雨斋”。之后听雨斋成了诗人们的聚会处，陈衍、林琴南、郑孝胥、王寿昌等诗人常聚此吟咏。
听雨斋建筑群经岁月变迁，只余听雨阁一座，阁上宝珠结顶，六角飞檐，阁里雕梁画栋，有美人靠。阁边鱼池一口，面积约100余平方米。听雨斋入口进入前天井，沿前天井北墙廊下门洞入跨院，跨院内西侧有一小天井，小天井南侧为披榭，东侧为敞厅。主厝南侧天井（花园）后有一面阔三间，进深一间的民国风格的建筑。前天井上搭盖严重，南侧山墙上开一门洞，通丰井营。水池南侧披榭的隔墙外有一小跨院，共南北两间。
主厝坐东朝西，西侧中部有一口水池，水池北、东、南三面环廊，环廊南北两侧各设有三开间披榭。东侧环廊为主厝的轩廊部分。主厝面阔五间，进深七柱，穿斗式构架，硬山顶，前轩廊下为水榭栏杆，挑檐伸出水池上面，檐下垂莲悬钟两旁插拱上设梅花斗。轩廊檐金柱间步距大、敞度宽、场景修悠美，极适合文人雅士吟诗作赋。北侧梢间轩廊为敞廊，专设为曲尺楼，主厝南梢间南侧门扇为特色的民国鱼鳞板门扇。主厝后天井南北两侧各有披榭。
入门前天井东侧为一敞厅，敞厅东侧辟楼梯进南侧隔墙的曲尺楼。曲尺楼为民国风格的二层木构楼，二楼西侧设挑廊，东侧为廊屋。曲尺楼西侧有轩廊通主厝。
听雨斋如今已不复当年的模样，被岁月带走的不仅仅是听雨斋华丽的过去，也带走了诗人们浪漫的情怀和无尽的诗意。
