军队离休干部休养所的雏形，是在上个世纪七十年代初中期。当年有一些高干由于身体原因或年龄较大，无法正常工作，一些部队就找了一块地方（一般都不在省会城市），建了一些小规模的干休所。

全军大规模地建立干休所的高潮，是在上个世纪八十年代初中期。军委正式下达了离休干部的政策和相关的待遇后，各军兵种、各大军区和省军区、各野战军和军师级单位，纷纷建立了各种规格的离休干部休养所。从大军区级的，到兵团级的，军级的和师级的。雨后春笋般的干休所在各大城市星罗棋布，随之大批的建国前参加革命的师级以上的离休老干部，陆陆续续搬进干休所居住。到了上世纪九十年代，所有的离休老干部基本都住进了各部队的各级干休所。

转眼四十多年过去了，上世纪八九十年代离休后进入干部休养所的老干部，现在已经不多了。军级以上干部基本都不在了，师级干部平均年龄都在95岁以上。按照这种趋势，再过一些时间，部队干休所里的离休干部都会离世，干休所可能就会取消。

各地的各级军休所在不断的建设，入住军休所的军队退休干部越来越多。他们都是团级以上干部，在部队服役到了一定年龄后，直接在部队退休的。他们原来都居住在各个部队大院里，退休后，就陆陆续续搬进军休所养老了。

原来，部队的离职干部休养所和退休干部军休所，都是由各个部队自行建立和管理的。军改后为了统一的规范化管理。各军兵种和各个部队的干休所，都移交给了省军区、警备区和军分区，军休所移交给了退役军人事务局和地方民政部门。干休所仍然由部队管理，军休所由部队和地方共同管理。这样一种管理方式，减轻了各部队的负担，也理顺了管理方式和管理对象关系。