1979年7月16日，林遵将军不幸逝世。病魔折磨他八年之久，但从他那安然离去的神态中，人们似乎读懂了老人永远也无法再用语言交流的心思。看得出老人是带着欣慰、满足、信任与期盼离去的。他欣慰自己在后半生终于找到了真正的归宿，成为党的人。欣慰亲眼目睹了自己为之奋斗了终生的祖国海防事业的日益强大。他衷心期望中国海军新的一代将会筑起更加坚固的海上长城，他也热切期盼海峡两岸骨肉同胞早日团圆。

1949年，起义的前国民党海防第二舰队司令林遵（前排中）将军及部分将领。

    1979年7月30日，遵照这位老海军生前的遗愿，在隆重的仪式与低徊的哀乐声中，老将军的骨灰撒向他一生为之奋斗的大海。

林遵亲笔信