一战时期，坦克的出现以及在西线战场的运用吸引了世界的注意，日本也是如此。

1919年战争结束后，日本陆续从英国，法国引进了MK IV型，MK A型，雷诺FT—17型等早期坦克进行研究。从1926年开始，日本开始尝试自行制造坦克。1927年2月，陆军技术本部车辆班以法国雷诺FT—17型坦克为原型设计了一号战车，由大阪兵工厂和民间企业合作完成，全重12t，时速25公里，装备57mm炮1门，机枪2挺，装甲厚度为6～17mm。在一号战车的基础上，大阪兵工厂又在1929年年初完成了第一辆由日本自行设计的坦克，该型号坦克最初是作为轻型坦克设计的，在投入生产前根据军方要求增加重量，作为中型坦克列装，命名为“89式”中型战车，成为日本陆军战车部队早期的主力装备，曾广泛参与了侵华战争和太平洋战争初期的作战。

在“89式”之后，日本在20世纪30年代中期又研制生产了“95式”轻战车和“97式”重战车，成为太平洋战争时期日军战车部队的主要战力。

在日本研究、试验坦克装甲车辆的同时，日本陆军战车部队也同步开始创立。

1925年5月1日，日本陆军在久留米的第14师团内组建了第1战车队，装备雷诺FT—17型坦克和MK A型坦克3辆，同一天在千叶县的陆军步兵学校组建了战车教导队，这两个战车队就是日本陆军最早的战车部队。

随着日本逐步实现了坦克装甲部队的国产化，日本陆军的战车部队也在发展壮大。1933年8月，第1战车队被改编为“战车第1联队”，配属于第12师团，步兵学校战车队改编为“战车第2联队”，配属于第1师团，这是日本陆军战车联队编制的开始。除了最初的两个战车联队外，在关东军独立混成第1旅团编制内又组建了新的战车部队，首先在1933年10月建立了“战车第3大队”，后于1934年4月成立了“战车第4大队”，这两个单位后来分别在1937和1938年改编为战车第3，4联队。1936年4月，日本陆军在中国驻屯军编制内组建了中国驻屯战车队。

1937年7月全面侵华战争爆发后，日本陆军战车部队迎来了大幅扩张的黄金时期。

在“卢沟桥事变”爆发后不久，中国驻屯军战车队被改编为“战车第1大队”和“战车第2大队”，1938年7月又扩编为“战车第7联队”和“战车第8联队”。

1937年8月，战车第5联队组建，同年12月，战车第6联队成军。随着侵华战争的进一步扩大，日本陆军的战车联队数量也不断增加。1939至1940年，在中国东北，华北，华中和华南陆续组建了战车第9~14联队，其中战车第9，10，11联队为重新组建，而战车第12，13，14联队是由独立轻装甲车中队改编而来。直到到太平洋战争爆发前夜，日本陆军总共拥有14个战车联队长他们大多配属于各个师团'支援一线步兵作战。此外，在部分师团内也编有独立的战车队。与战车部队的扩张相适应，日本陆军于1936年8月建立了千叶陆军战车学校，1940年12月在中国东北公主岭建立了“陆军战车学校”，1942年11月转移到四平，改称为“四平陆军战车学校”。这两所军校是日本陆军仅有的战车人员教育训练基地。

日本陆军长期以来将坦克视为一种步兵支援武器，将战车部队分散到各个步兵师团中伴随步兵战斗，在太平洋战争之前没有组建过师团以上规模的战车部队，这与纳粹德国陆军把装甲部队集中使用并从步兵中独立出来组建装甲师，以装甲师为军团突击力量的做法完全相反。

从1939年开始，日本陆军也开始尝试在战场上集中使用坦克，并组建较大规模的战车部队，比如在1939年3月的南昌战役期间，第11军临时编成战车集团，下辖战车第5大队，战车第7联队，独立轻战车第9中队等多支战车部队，编有坦克135辆。1939年6月，关东军第23师团在其编制内组建了“第1战车团”，相当于旅级规模，下辖战车第3，4，5联队以及其他辅助部队，参加了苏日“诺门坎战役”。第二年3月，在第5军编制内组建了“第2战车团”，下辖第4，10，11联队。太平洋战争开始后，战车团下属各战车联队大多被抽调去对付美国人，依旧配属于步兵师团作战。

二战初期，德国陆军在欧洲战场上进行了大规模的装甲作战，取得了十分可观的成绩。通过曼施坦因、古德里安等人的成功，这也影响到了世界另一边的日本，并进一步扩充战车部队，扩展到部队编制。1942年6月24日，日本陆军组建了“机甲军”，隶属于关东军，司令部设在四平。机甲军是日本陆军战车部队的最大编制，随着该军的建立，首批战车师团也呼之欲出：

战车第1师团由原第1战车团改编，驻扎丹江

战车第2师团由原第2战车团改编，驻扎勃利

新组建“教导战车旅团”

上述师团、军团无一例外属于机甲军。其建制内的战车联队达到10个。机甲军的出现原以对苏作战为目标，然而随着太平洋战争对日本的不利，大量关东军精锐南调，机甲军于1943年10月被解散。1942年8月，中国派遣军将编制内的骑兵集团改编为“战车第3师团”，驻扎包头。日本陆军组建的战车第3师团的主要目的是在作战中“尽可能捕捉敌人，并以最快的速度推进突破防线”。随着机甲军，战车师团的出现，日本陆军战车联队数量也相应上升。1941至1942年，先后组建了“战车第15～19，22～24联队”，使得战车联队总数高达22个。

1944年，日本在太平洋战场的局势一片惨淡。已经陷入极度被动的日本帝国开始垂死挣扎，先是设定了“绝对国防圈”，之后又积极筹划所谓“本土决战”，对整个国家进行彻底的军事动员。

在这一背景下，日本陆军战车部队也迎来了最后的扩编狂潮，战车联队的数量达到最高峰。1944到1945年战争结束前，日军在本土以及中国占领区陆续组建了战车第25～30，33～48，51，52联队，共计24个战车联队，并在1944年6月的国内又建立了“战车第4师团”，这也是日本陆军的最后一个战车师团。到1945年8月15日投降时，日本陆军已经组建了46个战车联队，其中6个联队已经在太平洋战场上被美军全歼，有5个联队残部留在东南亚和太平洋岛屿上，26个被部署在日本本土，4个在中国东北与苏联人激战，3个在中国内地，1个在台湾，1个在朝鲜。