总督的设置始于明朝，明初将元代行省权力一分为三，设承宣布政使司掌管一省民政事务，设立提刑按察使司、都指挥使司分掌刑狱和军政，与布政使司合称“三司”，按察使司和都指挥使司各自独立，不受布政使司节制。

但地方三司各司其职，互不统属，相互牵制而少有相互协调，遇大事，各系统难以协调，相互推诿，拖延不决。特别是遇到地方“民变”或动乱，布、按二司无权调动军队，须向朝廷申报，往往容易使地方形成“失控”的被动局面。在这种形势下，为了加强中央对地方的控制，明朝统治者派遣中央亲信大臣到地方担任督抚职务，授予更大权力使其能够直接处理决定事务，直接调兵镇压农民起义以及征收赋税徭役等。

总督的设置，首先就是出于军事上的需要。自明英宗正统以后，由于政治日益昏暗，宦官开始干政，致使政治矛盾和社会矛盾日益激化。“或变生于腹里，或衅起于边陲”，这些地区，巡抚不能采取果断强有力的措施维护社会稳定，更多的时候，而相邻省份之间采取一种明哲保身的策略以求自保无法相互帮助解决问题，鉴于这种情况，明廷认为“必设总督而后能平之”。

正统六年（1441年）正月，总督正式设立明廷征麓川，以兵部尚书总督军务。朝廷任命王骥总督军务，总兵官悉听节制，其性质属于“临时派遣，事毕还朝”，是“遣督”而非“设督”，并未成为定制。

作为中央向地方的派出机构，总督起于景泰时期。“景泰二年之时，漕运发展不继，于是特地命令佥都御史王竑总督漕运。到了景泰三年，又在凤阳等处增加左副都御史巡抚。”明代于14 个地区设置了总督，但有些地区往往因事而置，事毕即罢，所节制的行政区划也常有变化。主要有以下几个定设总督。

蓟辽总督：总督蓟辽保定等处军务，兼理粮饷，节制顺天、保定、辽东三巡抚，蓟州、昌平、辽东、保定四镇。嘉靖二十一年，驻蓟镇，至二十九年设总督，开府密云。

三边总督：总督陕西三边军务，节制山西、延绥、宁夏、甘肃四巡抚，固原、榆林、宁夏、甘肃、临洮五边镇。弘治十年（1497 年），因蒙古犯边，派遣中央大臣总督陕西、甘肃、延绥、宁夏军务，左都御史王越开始兼任总督。后时设时罢，至嘉靖四年（1525年）定设，始称提督军务、总制，辖陕西、甘肃、延绥、宁夏四巡抚。

湖广总督：景泰元年（1450 年）四月，以“贵州苗韦同裂叛，围新添、平越、清平、兴隆诸卫。命侯琎总督（湖广）贵州军务，讨之”。八月，侯琎“以劳瘁卒于普定”，朝廷便立即“进左副都御史、河南巡抚王来为又都御史代之。与保定伯梁瑶，都督毛胜、方瑛会兵进讨。”“贼平，班师。诏留来、瑶镇抚。寻命来兼巡抚贵州。”

宣大总督：总督宣、大、山西等处地方军务，兼理粮饷，节制宣府、大同、山西三巡抚三边镇。景泰二年，宣府、大同个设巡抚，同时派遣都御史、尚书总理宣大军务，正德八年设总制，嘉靖年间设置总督。

凤阳总督：督理漕运，兼提督军务，巡抚凤阳等处，兼管河道。

两广总督：总督两广军务，兼理粮饷，带管盐法，兼巡抚广东地方，截至广西巡抚，广东、广西二镇。

崇祯年间，农民起义不断，又在内地设立了多个总督，十四年增设总督凤阳兼管河南、湖广两地军务。崇祯十一年设总督保定地方军务一员。崇祯十六年设总督九江地方兼制江西、湖广军务一员。