所谓联合舰队意思是说由二队以上的独立舰队编成的海上作战部队，日本的联合舰队开始于甲午战争时期。

在之前日本的海军经过明治维新后的疯狂发展，已经有了巨大的发展，除了负责沿岸防备任务的老式舰队外，还有新组建的新式舰队，也就是主力舰队，主要负责对外侵略扩张使用。

当时日本与大清作战，虽说知道大清实力不济，但也不敢小觑。于是当时的军令部官房主事山本权兵卫大佐提出了联合舰队的概念，说白了，就是把这两支舰队组合在了一起，其实并没有什么新意，只是改了个名称，感觉有点唬人而已。

联合舰队几乎是日本全部的海军力量，所以有时也代指日本帝国海军。

由于三国干涉还辽，使得日本感到了屈辱，为此开始了横跨十年的海军扩张计划，在此期间建造了109艘军舰，总吨位超过了二十万吨。

到了日俄战争时期，日本再次故技重施，组建了联合舰队，并且打败了俄国由波罗的海舰队拼凑而成的第二太平洋舰队。不过这只是临时编成的。一直到了1923年才开始改为常设。

也是在这个过程中，日本通过不断地扩张，聚敛了大量的钱财，开始再次大力发展海军力量，一直到太平洋战争爆发前，日本的海军有了长足的发展，成为了世界第三大海军。

从常设开始，联合舰队就是日本海军在中、远海遂行机动作战任务的战略、战役军团。联合舰队的司令隶属于日本天皇，受海军大臣领导，海军军令部总长指挥。

在“一二八事变”爆发时，日本联合舰队的主力是第一、第二舰队，后来随着战争的扩大，又先后增加到了第五舰队。

此后，日本为了发动侵略战争，上下进入疯狂，主力舰、航空母舰纷纷下水。而日本联合舰队的力量也一次次的加强，规模也达到了巅峰。