境内文物考古材料证明，今文山州境地新石器时期就有人类居住、繁衍、开拓，盘龙河沿岸发现的石磨工具，青铜器时代的斧、锄、矛、叉、凿等与滇文化、夜郎文化有着较强的一致性。公元前221年秦统一中国后，成为祖国统一的多民族国家的组成部分。西汉元鼎六年(前111)，汉武帝刘彻开发西南边疆，令驰义侯率兵征讨西南夷后置群舸、越寓等郡。胖舸郡辖17县，其中11县在今云南东南部，今文山、砚山、马关县属进桑县地，西畴、麻栗坡属都梦县地，丘北属镡封县地，广南、富宁属句町县地。东汉时期，今文山州仍隶牂牁郡，其中，文山、砚山、马关、西畴、麻栗坡属进乘县地，丘北属镡封县地，广南、富宁属句町县地。

三国蜀汉建兴三年(225)春，诸葛亮率兵平定益州、越嵩、群舸、永昌4郡后，将4郡改建为建宁、朱提、云南、永昌、兴古、越嶲、牂牁7郡，隶降都督。今文山州8县分别隶兴古郡的进乘·县地(文山、马关、西畴、麻栗坡)，镡封县地(丘北)，句町县地(广南、富宁)。

西晋泰始六年(270)，设宁州领南中7郡。太康三年(282)，废宁州并入益州设南夷校尉。太安二年(303)复置宁州，全国设19州，形成州、郡、县三级建制。今文山州各县属宁州兴古郡的进乘县地(文山、砚山、马关)，都篖县地(西畴、麻栗坡)，镡封县地(丘北)，句町县地(广南、富宁)。

东晋时期将宁州又划为17郡，今文山州各县分属兴古郡的句町县地(广南、富宁)，西安县地(西畴、麻栗坡)，梁水郡的镡封县地(丘北)，新丰、建安县地(文山、砚山、马关)。

自东晋永和三年(347)到北周大定元年(581)的二百余年间，战乱频繁，南中大姓爨氏据地称雄，郡县设置经常改变。隋统一全国后，今文山州属南宁州总管府辖。隋开皇四年(584)，取消总管府，改州郡县制为州县制，设昆州、恭州、协州，废兴古郡。今文山州属昆州地。

唐初期，置南宁州都督府(治所曲靖)，今文山州分属严州、汤望州、归武州、奏龙州、英州、声州、勤州地。唐代后期(南诏)今文山、砚山、西畴、麻栗坡、马关、丘北为通海都督管辖，广南、富宁属岭南西道(冶所邕州)安南都护府管辖。

宋代，除今广南、富宁隶属广南西路广源州(治所在今广西桂林)的特磨道及广源州的左江道(治所在今广西南宁)外，其余6县属大理国政权范围内的最宁镇部地(丘北)、王弄山部地(文山县部份地区)、教合三部地(马关县八寨、文山县古木)、矣尼迦部地(马关、西畴、麻栗坡)。

元代至元十一年(1274)，设云南行省、政区为路、府、县。至元十二年(1275)、十四年(1277)，设广南西路宣抚司，治所在今广南县。至元十五年(1278)五月改称广南西路宣慰司，后改为宣抚司，辖今广南、富宁。

今文山县属教合三部地，马关、西畴、麻栗坡属矣尼迦部地，隶宁远州。元大德四年(1300)，今丘北县隶属广西路(治所在今泸西)维摩州。广南、富宁仍属广南西路宣抚司辖。文山为教合三部地，马关、西畴、麻栗坡为矣尼迦部，隶宁远州。