胡同在早前的中国城市中并不常见，唐代城市多坊墙制，即在城市中另建小城，比如当时的首都长安，分为110个坊，每个坊面积大小不一，南北长在500-838米之间，东西宽在550-1125米之间。
每座坊的四周都筑有围墙，大坊一般开四门，内设十字街，小坊则开东西二门，设一横街，街宽都在15米左右。十字街将一坊分为四区，在每一区内都还有一小十字巷，把整座坊分成十六个小块，分布着民宅、官邸、寺院和道观等。各坊均采取封闭式管理，坊门有卫兵把守，晚间会实行宵禁。
宋代时，坊墙被打破，城市开始转向街道制为核心，但由此也带来一个巨大问题，即“商贩侵街”，街道是人来人往之处，最易做生意，游商占道，无本而厚利，这鼓励大家纷纷效仿，南宋时，由于游商反复占道，官吏驱逐不利，至杭州的主干道缩小了一半左右。清代老北京的前门外大街也如此，后期街道也比当初规划时少了近一半。
契丹与金曾以老北京为都城，到金代时，北京的面积已达80多平方公里，但仍以街道为主，并无胡同，元代占据北京后，忽必烈“定制以地八亩为一分”，贵族、功臣都在北京城内授予封地，以为第宅，这是为了集中管理，以防作乱。但也正因为如此，元代不得不对城市进行整体规划。
元大都城分为50个居民区，称作坊，如福田坊、保大坊、金城坊等。坊与坊之间为平直而宽度不等的街巷胡同。全城街巷胡同总计有400余条，即所谓“三百八十四火巷，二十九通”，其中只有29条直接称为胡同，剩下的称为火巷。
火巷之称始于南宋，宋淳熙十三年(1186年)武昌古城南门外著名的商业区南市(今鲇鱼套一带)发生了一场大火，被烧达一万多家。刚到任的鄂州知府赵善俊为杜绝后患，当机立断，采取了“辟火巷”的措施。“适南市火，善俊亟往视事，弛竹木税，发粟振民，开古沟，创火巷，以绝后患”。火巷从此成为南方城市设计的标准元素，以后传入北方。对于这种设计，马可波罗曾称赞说：“全城地面规划有如棋盘，其美善之极，未可言宣。”
胡同的优点是整齐划一，犹如蒙古军营，既便于交通，又利于作战。胡同与四合院彼此配合，既有秩序性，又保持了一定的私密性，由此形成了颇具特色的胡同文化，而其最初设计时突出的军事功能、管理功能，随着时间推移反而变得不那么重要了。
热门跟贴