两天后，1978年5月10日，王近山因病医治无效在南京逝世，终年63岁。

弥留之际，虽已神志不清，他还用微弱的声音问道：“敌人打到哪里了﹖我们谁在那里﹖”

他的小儿子回答说：“是李德生叔叔在那里！”

“李德生上去了，我就可以放心睡一觉了。”他是听着专门为他播放的军号去世的。

王近山去世后，党中央非常重视。邓小平亲自审定了悼词，对王近山一生给予了充分的肯定和很高的评价。中央军委补发了王近山为南京军区顾问的任命。

5月17日，南京军区举行的追悼会十分隆重，邓小平、刘伯承、徐向前、许世友、李德生、陈锡联等，以及王近山的生前友好送的花圈，摆满了悼念大厅。追悼会的规模原定500人，实际参加的有1000多人。他为人民屡建奇功，得到了应得的崇高荣誉。