1927年1月，鉴于北阀军北上作战行动十分顺利，张作霖开始对驻东北三省的苏联机构进行搔扰，以防在东北三省发生武装起义。3月11日，张派人搜查了苏联在哈尔滨的商务代表处；3月16日，关闭了在哈尔滨的苏联“运输”股份公司代表处。3月31日，搜查了东部铁路局苏联工作人员的机构；4月6日，袭击了苏联驻北京领事馆，逮捕了大批中共党员，其中包括中国共产党的创始人李大钊，并于4月28日将其杀害。同一天，张作霖军队在南京扣留了一艘苏联船只，逮捕了3名苏联外交信使以及在武汉政府任职的苏联总顾问的夫人博罗金娜，并企图强迫博罗金娜说服丈夫签订南北停战协定。同时，张作霖军队参与了镇压上海的共产党武装起义，并在南京组建了以胡汉民为首的新临时政府。随后，苏联顾问团被迫撤离了中国。6月25日，张作霖致电蒋介石，希望与其签订一份“共同反对共产党”的协定。

　　在国内制造反共高潮的同时，张作霖还煽动盘踞在中国北部边境地区的白匪和当地土匪对苏军边防部队实施挑衅。据苏联国家保安总局统计，1927—1928年在苏中边境共发生90多起入侵苏联领土事件。同时，张作霖的政权也难以维系。1927年12月—1928年初，他被迫与北阀军作战，随后，又与蒋介石军队作战，部队伤亡惨重。于是，他派员与日本谈判，企图依靠日本政府的支持在东北建立反共、反苏“独立的满洲共和国”。

　　第二次暗杀终于得手

　　此时，苏联国家政治保安总局外事局住哈尔滨特工人员埃廷贡刺探到了张作霖与日本谈判的情报，并向总部做了汇报。苏联政府认为，张作霖的所作所为已经威胁到了苏联在远东地区的利益，命令苏军情报局与国家保安总局联手暗杀张作霖。负责暗杀任务的，是埃廷贡和曾参加过第一次暗杀行动的萨尔嫩。为了把暗杀视线转向日本政府，苏联政府命令萨尔嫩领导的东北三省特工小组做好这项工作。

　　1928年7月4日夜间，张作霖乘坐专列由北京返回沈阳。当行驶到沈阳郊区的皇姑屯车站时，张作霖乘坐的专列车厢突然发生剧烈爆炸，张胸部负重伤，送到沈阳医院不久便断了气。当时，专列中还有17人死亡。为了将这次暗杀行动嫁祸于日本政府，苏联特工小组特意把炸弹埋在了由日本关东军警戒的铁路架桥上。使苏联政府大惑不解地是，在张作霖被暗杀后，日本政府主动承担了责任，声称暗杀张作霖是因为他暗中与美国勾结，出卖东北三省。

　　然而，暗杀张作霖并没有给苏联政府带来任何预期的结果。1929年1月，张学良上任，与蒋介石合作，并承认南京政府。8月，张学良军队开始为即将在当年11—12月爆发的中东铁路武装冲突做准备。在张作霖死后和失去对中国北部地区控制之后，日本政府于1931年占领了东北三省，建立了伪满洲国，并将关东军部署在中苏边境，从而使苏联在东北三省失去立脚之地。

　　长期以来，张作霖被日本关东军暗杀已是被广泛认可的事实。1946—1948年，国际军事法院在东京对日本战犯审讯过程中，侵华日军将领对日本关东军受政府之命策划暗杀张作霖行动供认不讳。但是，上世纪四十年代末，日本政府矢口否认参与了暗杀张作霖行动，并称日本政府没有任何理由指使关东军暗杀张作霖。上世纪九十年代初，俄罗斯历史学家沃尔科戈诺夫在调查托洛茨基死因时，无意中发现了张作霖被苏军情报局暗杀的史实材料，从而使这桩既成的历史铁案在70年后又有了新的说法。