唐开元二十六年(738年)改名开元。寺门口的开元寺牌匾，据说是1000多年前的唐代大书法家欧阳询所书。宋代时，开元寺占地面积很大，东起井大路，西到尚宾路，南抵三牧坊，北达经院巷。
寺内有灵源阁、十六亭、平怀堂诸胜。历史上开元寺曾四度遭火灾，抗日战争时期又遭日机轰炸，原有建筑物被焚殆尽。仅存铁佛殿、灵山堂和佛化社等数座屋宇。
开元寺内有一尊铁铸的阿弥陀佛坐像，头实躯空，重50吨，高5.3米，宽约4米。人站在佛像的肩膀上，伸手摸不到佛像的头顶。此佛像铸于北宋元丰六年(1083年)，是国内罕见的大铁佛。
据说，这尊巨佛是用蜡铸法浇铸的。近年来在维修开元寺中，发现古佛座下有口枯井，证实了当初是在这口井上的周围筑模型，浇铸铁水后让中层的油蜡遇热熔化流入井中，使佛体呈空心状态。此外，开元寺还遗留宋代石槽3个，系香积厨内所用的贮水槽，其一为北宋大观二年(1108年)所制，上镌铭文62字，为古代石器之罕见。另两个石槽，一槽横侧刻文全灭，一槽横侧仅有“嘉祐辛丑岁常住造”8字。古代开元寺还是福州刻印经书的重要寺庙之一。
