早在秦汉之际，我国的江南更多地是指长江中游的南部，这片区域为当时诸侯国楚国故土，主要是湖北和湖南两地，历史上将这段时间的江南定义为古江南。在《左传》里就有这样的记载：“春，王正月，许男如楚，楚子止之；遂止郑伯，复田江南，许男与焉。”这段话的意思是：昭公四年，楚子、郑伯田猎的“江南”。据我国历史地理学创始人谭其骧考证，在当时郢都附近为今长江南岸的松滋、公安一带。屈原《九章》中有诗句：“目极千里兮伤春心，魂兮归来哀江南。”的江南也是荆楚江湘之地。
但明朝时期的江南则是原为明朝直属应天府南京的南直隶，这时的江南省范围大致相当于今江苏省、上海市、安徽省全境以及浙江省北部、江西省婺源县、湖北省英山县。这片区域在明朝被称为“南直隶”，在清朝被称为“江南省”，无论是“南直隶”还是“江南省”，皆为当时全国最富裕的地区之一。在清初的相当一部分时间内，江南一省的赋税占到了全国的三分之一，而每期科考，江南一省的上榜人数就占了全国的近一半，于是有“天下英才，半数尽出江南”一说。强大的江南省引起了清王朝的顾忌。

为了清王朝政权的稳定，拆分江南省成为清王朝稳定政权的头等大事。到了康熙年间，清政府将江南省一分为二，从北至南划线将富裕的江南省分成东西两部分，东部以江宁与苏州两府的名称首字命名为江苏省，西部以安庆与徽州两府的首字命名为安徽省。而当时的南京名叫应天府，江南省存在时，应天府正地处在江南省的中心区位上，但江南省一分为二成为江苏省与安徽省，南京就变成了江苏省与安徽省交界处的城市，所以南京一直就有江苏省与安徽省两省省会的笑谈。
江南最初给予大多数现代人的第一印象就是春暖花开鱼米之乡美丽富饶。江南文化最初是远远落后于中国北方地区的，由于北方与中原的人口、文化等大量社会资源纷纷南移，使江南地区在经济与文化上后来居上，但真正具有美丽富饶成熟形态的江南，却是在中华帝国后期的明清两代才逐渐形成的。在明代的江南，南京、苏州、扬州、常州、镇江、松江（上海）、嘉兴、湖州、宁波等均是全国最重要的工商业城市。这个时代的江南就有点富可敌国的味道。

正是因为江南省的“富可敌国”，清朝稳定政权后就对江南省进行了拆分。在随后的相当一部分时间内，江南一词被众多的地方争抢，在楚大夫大诗人屈原的心目中，江南是长江以南的荆楚江湘之地；在太史公司马迁笔下，自长江南岸直至海边都是江南；而气象学家们认为，凡是梅雨能覆盖到的地方，无论是长江之南还是长江之北都可划归江南。语言学家则认为，长江中下游所有的吴语区都是真正的江南。还有人说，江南的这个“江”并不一定特指长江，也可能是指淮河，大家就有些哑口了。
江苏安徽两省分置之后，此时的环太湖流域的发展富得流油，就开始出现了狭义上的江南“八府一州”概念，即苏南、上海、浙北杭嘉湖区域，苏州、杭州、上海等全面的崛起，使得南京一地独大的地位骤降。这一地区亦称长江三角洲或者称太湖流域，它的总面积达到了4.3万余平方公里，而这片区域在地理、水文、自然生态以及经济联系等方面形成了一个有机整体，从而构成了一个比较完整的经济区，这就是代表富裕的狭义上的江南——江苏加浙江加上海的组合。