金朝建立之初，女真人没有徭役一说，身强力壮的人都属兵籍，平日里做农事有战争爆发就出征，战马、粮草和武器都需要自己筹备。

之后，金大租对军队采取猛安谋克编制，一些俘虏的外族士兵也被编人。后来，随着金人占据的汉地逐渐增多，征兵制又开始流行，签发汉族和其他少数民族为兵，管他们叫做“签军”，至末期也行“募兵制”。金朝将中原纳人版图中后，还模仿汉军制度，发放军俸和补助等。

年纪大的军官退役时，还会“给赏”。对于那些成批投降的宋军，并不打乱其编制，仍旧沿用旧制，而且将领也用汉人。军事机关的职责是帮助皇帝管辖军队，最开始时叫做都统，后来变为元帅府、枢密院等。

一且有战争爆发，皇帝就会指派亲王率军出征，均用都元帅、左右副元帅等临时职位称呼。边防军事机构为招讨司、统军司等。金军的主力部队为骑兵，步兵稍次。每个骑兵都有几匹马，往往身披很厚的铠甲。

后来各部族兵大增，步兵数量也大幅增加。金朝的水军虽然规模庞大，不过战斗力不强。在兵器方面，除了一般的冷兵器，还有一些火器，如火炮、铁火炮、飞火枪等。