在上杭街的中段，建郡会馆的西侧，有一扇绿色的宁波门，推门而入便是高氏祠堂。建筑总占地面积约1070平方米，始建于清朝嘉庆年间，现存为民国时期的木构建筑。文昌阁在高氏祠堂的后进，是高家人在高氏祠堂中设立的供奉文昌帝君的祭祀建筑。
高氏祠堂，风火砖墙，在第一进厅屏门阴刻着鎏金的《朱夫子家训》，表明了双杭商界人士崇尚文教，注重培养子弟读书、仕进的风气。
文昌阁原为高氏书斋，占地面积约180平方米，共两层。一层面阔三间，进深五柱，堂前一口菱形鱼池，锦鲤数尾，蹀躞游曳，旁绕假山并杂以紫釉鱼缸数口与石鼓几件，一颗满树苔花的桂花树掩映阁檐，愈显意趣盎然。
阁之一层原来供奉有文昌帝君塑像，可惜现已不复存在。左右两边保留有两块一米见方的硬木牌匾，为柳体阴刻的《文昌帝君阴骘文》。书写者是高氏后人清朝秀士高攀仁，清代高家书斋管理者、教师。全文贯穿着“以人为本、以和为贵，为国益民、乐善好施”的主线，强调“善有善报、恶有恶报”的因果关系，劝导人们存好心、说好话、做好事、当好人，警示人们慎权、慎独、慎微、慎友。《阴骘文》也是清代李毓秀编撰《弟子规》的重要源头，文章字里行间充满儒家思想的内涵，也有一定的教育意义。
文昌阁的第二层要从假山拾级而上，二层大厅卷棚顶，三面环以美人靠，厅内可容几十人听课。值得一提的是，就是在这个双杭地区称不上大户的人家里，却走出了中国天文学气象学的奠基人——高鲁。
高鲁字曙青、号叔钦，1905年毕业于福州船政学堂，后以优异成绩被清廷派往比利时布鲁塞尔大学学习，获工科博士学位。1909年加入同盟会。光复后，任南京临时政府秘书兼内务部疆理司司长。1912年任中央观象台台长。
如果说高氏文昌阁是百年前老上下杭人重视教育的见证，修复后的文昌阁则是新上下杭人对于学习的重新理解与定义。
