1929年2月出生，山东荣成市斥山镇大泊子村人

1949年10月25日，张序三被分配到“美盛”号军舰（中型坦克登陆舰）任政治干事、中共党支部书记。

1951年10月8日，张序三任“黄河”军舰（原美盛舰）副舰长。

1954年，张序三回国后，被派往华东军区海军第六舰队“西安”护卫舰任实习舰长

1954年10月25日，张序三在驱逐舰上任协长、副舰长、舰长、参谋长、大队长。在升任“长春舰”舰长时年27岁，是当时人民海军历史上最年轻的驱逐舰舰长。

1964年8月，张序三被任命为驱逐舰第五十一大队大队长

1969年5月，张序三调任东海舰队舟山基地副参谋长

1971年2月，升任参谋长。

1975年9月，张序三调任海军司令部军训部部长。

1979年1月，张序三升任海军司令部副参谋长。

1983年5月16日至6月14日，张序三率X950和Y832组成的远航航海实习编队，从湛江港起程，途经西沙群岛、纳吐纳群岛、南沙群岛最南端曾母暗沙、菲律宾西海岸，出巴林塘海峡到西太平洋，历时30昼夜，航程6721海里，完成人民海军首航南沙群岛及西太平洋任务。

1983年8月，张序三任海军学院院长。

1985年7月，张序三被任命为海军副司令员。

1987年10月，张序三兼任海军参谋长。

1988年3月14日，在南沙赤瓜礁保卫战中，张序三亲自组织指挥了反击越南海军的战斗。

1992年10月，被任命为军事科学院政治委员。

1993年10月，主要从事全国人大工作

2003年7月，张序三奉命离职休养，同时被中央军委授予独立功勋荣誉章。

1988年，被授予海军中将军衔，