淮安地处淮河南岸，商周时为淮夷所居之地。春秋时属吴，吴王夫差开凿的邗沟沟通江淮，邗沟于末口接入淮河。但由于淮河水位低，邗沟水位高，于是在此处筑堰以控制水位，北上的船只由此渡堰入淮，称为北辰（神）堰。

秦统一后，设置淮阴县。北辰堰扼守江淮交通咽喉，周边人口逐渐积聚。

东晋义熙九年(413年)置山阳县，为山阳郡治，并筑城池拱卫（俗称旧城）。南齐永明七年，置淮安县(这是有史记载的最早淮安之名)。

刻有山阳字样的城砖

隋开皇元年(581年)废山阳郡，改设楚州，治于寿张县。十二年(592年) 移治山阳县。大业初废楚州，淮阴县并入山阳县，但不久又重置。

张爱萍将军拍摄的淮安 庆成门

唐武德八年(625年)复置楚州（初称东楚州），仍治山阳县。天宝元年 (742年) 改为淮阴郡，乾元元年(758年)复名楚州。上元二年（761年）重修山阳县城。唐代，楚州、泗州成为运河沿线的两座全国性大城，楚州更被白居易誉为“淮水东南第一州”。

清代山阳县志县城图

北宋时重筑山阳县城，至宋金战争时，金军以山阳城坚固，称之为“银铸城”。南宋时，楚州地处宋金、宋元交战前线，为双方反复争夺，归属和建置多混乱，加之黄河夺淮入海，淮河流域水患频发，楚州的繁华亦逐步衰落。宋孝宗时，守臣陈敏重加修葺。乾道七年(1171年)，于旧城以北一里筑北城。绍定元年(1228年)改楚州为淮安军，改山阳县为淮安县（从改名淮安即可看出，此时的淮河流域时常遭受天灾及战乱，百姓渴望淮地安宁）。

1936年国民政府陆军部测绘淮安城

元至元二十年(1283年)复名山阳县，为淮安路治。元末为应对江淮农民起义，将土城稍加补修。张士诚占据江淮后，以部将史文炳驻守淮安。史文炳为更好的控制水道，于旧城北方（北辰镇之西）宋代北城故址上重修新城。

明初改为淮安府，仍治山阳县，洪武十年，增修城池，并以砖石包砌（包砌新城的砖石取自拆毁的宝应城墙），漕院署前台设谯楼（镇淮楼）。旧城原有五座城门，至明代仅剩其四：东门瞻岱，南门迎薰，西门庆成（西门之北原有清风门，宋末塞废），北门承恩。新城有城门五座：东门望洋，西门览运，南门迎薰，北门拱极，小北门戴辰。

淮安城图，根据光绪年间江北陆军学堂测绘图而来

旧城与新城之间，原为运道，粮船多屯于此。嘉靖三十九年，倭寇犯境，于是筑夹城将旧城与新城相联。夹城亦设城门四座：东南门及西北门具称天衢，东北门阜成，西南门平成。经过明清两代的反复加固，淮安府城城楼、角楼、敌台林立，城池蔚为壮观，新城东、西还设围砦屯兵。

淮安府城大致范围示意

民国二年（1913年）废淮安府。1914年山阳县因与山西山阳县重名改为淮安县。

民国初年淮安府图

上图为民国初年淮安府图，但很快民国政府就废除府制。淮安下辖桃源（泗阳）、清河（淮阴）、安东（涟水）、山阳（淮安）四县全部因为与其它地方重名而改名，也是实属罕见。

1948年淮安解放，1958年前后，城墙被拆除。1987年，撤销淮安县，设立淮安市（县级市）2001年，淮阴市（地级市）更名为淮安市（地级市），原淮安市（县级市）更名为淮安市楚州区，淮阴县更名为淮安市淮阴区。 2012年，楚州区又更名为淮安区。