鹤山之所以得名，据说因其山形像一只振翅欲飞的仙鹤，而云门寺就建在仙鹤背上。寺虽不大，但早有盛名，又兼风景殊胜。它所处之地，山势突兀，可俯瞰三江东去，视野开阔。
关于云门寺的始建年份，有一说是最早创建于南北朝陈武帝永定初年（557年），但现在更多的说法是建于南宋绍兴四年（1134年），因大慧宗杲禅师于此修行并宣扬禅法，以承袭云门宗（南禅五宗之一）法脉，遂有云门寺。宗杲禅师是禅宗史上一个非常重要的、划时代的人物，他所提倡的看话禅是禅宗史上最后一个富有创造性的禅法体系。南宋绍兴四年（公元1134年），云门寺的开山祖师宗杲禅师带着53名法师来到云门寺修行并宣扬禅法，遂命名为云门庵。50天之内，有13名法师在云门寺开悟，这在佛教界是一件罕见的大事。
为纪念宗杲禅师，洋屿村及众多信众随喜相助，在当年宗杲禅师坐禅处建造一座仿宋风格的纪念堂，供奉大惠宗杲禅师坐像。纪念堂边，修长的竹子葱葱郁郁，江风袭来，飒飒作响，平添一份盎然的古意。多年来，纪念堂前香火不断，信众甚多。
南宋乾道年间，云门寺还得到了孝宗皇帝亲书匾额“石门箑（音shà，意扇子）”。这大概是因为当朝丞相郑昭先与鹤山和云门寺甚有渊源。
郑昭先，鹤山人，八岁之时就已崭露头角，他为云门寺前的狮子岩题写的绝句，彰显出这位神童的不凡气象：生出群毛长，英雄跨百尊。爪牙应大用，今且踞高冈。
这首五言绝句和狮子岩，今人在登山入寺时仍可看到。此外，山上还有不少摩崖石刻，如“坐禅处”“青云梯”“拜望石”等，都有较高的艺术价值。
南宋嘉定年间，郑氏舍园林扩建寺院，云门寺一时蔚为大观，禅寺建筑规模宏大，享有“左江第一”的禅林称谓。云门寺亦与鼓山涌泉寺齐名。山因寺显，鹤山因此更名云门山。丞相郑昭先之父也葬于云门，至今寺内仍留有其墓前造于南宋嘉定八年的文武石像两对，守护神兽两对，形态庄严，保存完好，十分珍贵。
明初时，一场大火曾摧毁云门寺的大部分建筑，仅留大雄宝殿、观音阁、文昌阁等。永乐十一年（1413年），郑和第四次下西洋，来到鹤山，捐俸修缮寺宇，重塑佛像。为纪念郑和修缮寺庙的功绩，云门寺内供有郑和神位，寺内还有一尊清朝红木郑和刻像。
每年的5月1日，云门寺都会举办一场为期5天的禅修，全国各地年龄在18—40周岁之间的大学生均可报名。佛教以慈悲为怀。禅修，就是弘扬佛法，教人向善，随喜赞叹，随喜功德。把佛陀的精神应用在工作、生活当中，如果你有发心，你就是菩萨。每个初一、十五，我们在供修期间做晨课，都是祈祷世界和平，人民安乐。
