1928年参加苏军。1929年加入苏联共产党。 毕业于白俄罗斯中央执行委员会联合军事学校(1931)和总参军事学院(1948) 1931-1940年先后任排长、连长、营长，参加过白俄罗斯解放进军和苏芬战争。

卫国战争时期，马尔格洛夫任独立步兵团团长。该团在斯大林格勒方面军任团长，参加该方面军的历次作战， 在接近地进行防御作战，成功实施对敌人后方的纵深奔袭。 1943年1-11月在南方面军任步兵师参谋长、副师长。 1944年月至战争结束，在乌克兰第4方面军和第3方面军编成内任近卫步兵第49师师长， 指挥该师胜利强渡第涅伯河和德涅斯特河，在罗马尼亚、保加利亚、南斯拉夫、匈牙利和奥地利境内作战。 由于强渡第涅伯河英勇顽强，本人作战勇敢，被授予苏联英雄称号，该师获得荣誉称号-赫尔松师。

战后马尔格洛夫担任军事多种指挥职务。1954年-1959年和1961年-1979年起任空降兵司令。 空降兵在其领导下，在空降运输工具、军事组织、装备组织和使用方面均获得巨大发展。 1975年获苏联国家奖金，1979年退休。

马尔格洛夫获列宁勋章3枚，红旗勋章2枚，二级苏沃洛夫勋章、一级卫国战争勋章，红星勋章和三级“在苏联武装力量中为祖国服务”勋章各1枚，奖章及外国勋章、奖章多枚。 著作：《把法西斯侵略者全部赶出苏联国土》，莫斯科1975年版。