萨镇冰幼时家境清贫，而勤奋好学。11岁考进马尾船政学堂，学习天文、驾驶，毕业时名列第一。分配“扬武”练习舰见习，光绪二年（1876年）冬，他与叶祖珪、刘步蟾、方伯谦、严复等被派往英国格林威治皇帝海军学院学习驾驶。他从英国留学归来后，报效国家。甲午年间（1894年），他参加中日甲午战争的威海卫港保卫战，率水兵坚守刘公岛炮台，奋勇抗敌。光绪二十五年（1899年）他为北洋水师帮统，兼带“海圻”兵舰。翌年庚子（1900年）义和团事起，他率舰南下，集中江阴，协助防守东南各省，后任广东水师提督。
当时清廷要整顿海军，故派载洵同他往英、美、德、法、日、俄等国考察，回国后，以载洵为海军大臣，他为海军提督。威海卫陷落萨镇冰献降。北洋水师管带萨镇冰献降辛亥（1911年）革命，他率舰驻刘家庙及武汉、九江之间。当时革命军虽已得武昌，而清军与革命军仍在对峙。由于海军官兵皆心向革命，他便引退，所属的海军遂易帜，参加革命。
1923年2月，军阀王永泉等策动毛一丰掀起“倒林（森）拥萨”风潮，他由福州南台中洲海军公所迁入城内省长公署，担任了“自治”省长。1933年，十九路军将领蒋光鼐、蔡廷锴在榕发动“闽变”，当时他不计较个人的名位和身家性命的安危，参加这一抗日反蒋的义举，被聘为高等顾问，任命他为福建省省长，但不久又解职。
萨镇冰引退后，致力于慈善事业。他热心家乡各项建设事业，同情关心民间疾苦，他在福州倡设孤儿院、工艺传习所、收容所等安置孤儿、残疾者，提倡医生义诊，接受福州开元寺住持宝松和尚等聘请，为佛教医院董事长。他函电海外闽侨募集巨资，佛教医院建成后以济世救人为本，施医赠药，僧尼、居士及贫民受惠存活者甚众。
1926年冬，漳泉镇守使军阀师长张毅率部窜袭福州，兵败后，窜到闽县，大掠南港瓜山一带，民舍悉付一炬，乡民流离失所，走投无路。萨镇冰以下台省长之身，走遍南洋群岛，向侨胞乡亲募集了20余万元巨款，重建灾区，亲自督办救济事宜。93个乡村人民为他建起长寿亭，称赞他为“活菩萨”。他还在福州扩建道路，以利交通，市民感戴其德，该路命名为“肃威路”。
