传说两千多年前，闽越王无诸的宫殿前有一只金牛，奉命守卫无诸王宫。汉武帝平闽越后，无诸宫殿毁了，金牛无处可去，就带着一把金锁潜入白龙江（台江区和仓山区之间的河流）中。日久，江中鱼虾被它吃尽，它便大闹闽江、为非作歹，经常在舟楫往闽江里的金牛精守卫闽越王白龙江时掀起滔天巨浪，导致船毁人亡。
晋康帝时，一个渔民在白龙江垂钓时，钓到了一只金锁，谁知金锁后引出了一只金牛。渔民欣喜若狂，想把金牛拉上岸，谁知这头金牛硕大无比，在江里大显神通。官府听说后，立即在白龙江边建庙供奉金牛，并贴出告示，凡在白龙江上行船、坐船、打渔的人，出发前须自备酒肴往金牛庙里供奉，祭拜，祈福。于是，人人都按照官府的规定去做，果然平安过江，没有再遇到翻船的事件。
唐僖宗时，灵云勤禅师坐船过江，却没有去金牛庙里祭拜。船行至江心，突然大浪滔天，禅师站在船头，毫无惧色地指着巨浪呵斥道：“业畜不思解脱沟中，住得几时？”话音刚落，风涛应声而定。船靠岸时，只见一位穿褐色衣服的老翁迎船长跪，五体投地求禅师超度解脱他。
禅师便为他说十二因缘和无生法。老翁认真听完，恭敬地礼拜道：“我本是金牛精，蒙师说法，令我顿悟解脱。”说完再拜离去。
从此，白龙江面太平，金牛庙也废了。
