我国历代封建王朝的行政区没有市的建制。明朝和清朝通常是三级规划，省，也就是布政使司，下辖府或者州，府下面的建制一般是县，也有厅或散州。虽有类似城市的繁华之地，其实也是县，只不过这些县比较特殊，属于“附郭县”，也叫“倚郭县”，就是“府城”设在城郭里，是“治所同城”，它是不同层级的行政区的治所设置于一处城池之内。

上海作为一个县，在元、明、清时期属于松江府管辖。清朝雍正以后，因“分巡苏松太常等地兵备道”的道台衙门设在上海县城大东门内，常直接受上海道台节制；清朝灭亡后，在北洋军阀时期，上海的最高军政长官是淞沪护军使或者镇守使；1925年，北洋政府允准上海改为淞沪市。

1927年7月7日，经南京国民政府决议、批准，上海特别市宣告成立，直辖于中央政府，上海才开始有直辖市一级建置。新建置的上海特别市设10个局：财政局、工务局、公安局、卫生局、公用局、教育局、土地局、港务局、农工商局、公益局，任命黄郛为第一任上海特别市政府市长。当时上海特别市的范围是吴淞、引翔、殷行、江湾、闸北、彭浦、真如、蒲淞、沪南、漕泾、高桥、高行、陆行、洋泾、杨思、塘桥、法华等17个市乡地区，同时包括不受实际控制的租界特别区。

孙中山先生在1922年所著《建国方略，实业计划》一书中曾提出：上海“苟长此不变，则无以适合于将来为世界商港之需与要求”，进而提出“设世界港于上海”。上海特别市政府遵循孙中山先生的遗愿，在1927年11月成立了一个设计委员会。由于上海最繁华、最重要的地方，包括黄浦江的那些码头都在租界里面，中国人管不到，新设立的市政府通过综合考虑，选址现在五角场地区的翔殷路以北、闸殷路以南、淞沪路以东、黄浦江以西的约7000亩土地，作为新上海的市中心。