在福州南门于山北麓花园巷通向法海路的巷口拐弯处，有一个古老而又奇特的地名叫“牢堆口”。原来，这里是古代福州府属闽县关押犯人的监牢所在地的路口。明代时，曾在这里建有一座曾公祠。它是为纪念一位传奇式的历史人物而兴建的。五十年代初，因当地建设需要，曾公祠便迁移到对面的花园巷里。
曾公祠内塑一尊曾公坐像。登上小楼，只见墙上贴着一张简介。原来这位曾公名叫公扬，湖南省安仁县人。他于明代万历年间来福州担任闽县典狱长，负责看管犯人。由于他为官清廉，处事严正无私，深受百姓敬爱。尤其是每逢春节期间，他大胆决定从农历十二月廿五日开始到正月初四下午，让犯人回家与父母妻儿团聚。许多犯人感恩不尽，不但都能准时返回监狱服刑，而且经亲人的教育，也都改变了态度，起到了感化的作用。
在“牢堆口”监狱关押的犯人中，有一个尚干乡人名叫林玉。他在家里是个孝子，因一次上山砍柴，不慎柴刀脱手，误伤人命而被捕入狱。当他被放回家过年时，正逢老母病重，他无心过年，四处求医寻药，到了正月初四下午约定返狱时，经过乌龙江渡口时，因突遇风浪，一时渡船无法开航，于是误过了准时返狱的时间。这时，又恰好有官员前来检查监狱，曾公眼看林玉未返，自己犯了失职，难于交代，于是便自杀了，时年37岁。第二天，当林玉赶回监狱时，见曾公为他而殉职，抱尸痛哭，最后撞死在曾公尸旁。
狱中众犯人见状哀痛不已，并立碑以示哀念。至今，曾公祠里尚保存一方石碑与一个石炉，上刻有“闽邑牢堆口”字样。事后，乡民深为曾公事迹所感动，便建祠以资纪念且香火至今不断。
