明朝建国初期沿用了元朝的行政机构体系。随着全国的统一，朱元璋的猜忌心和权力欲越来越大，为了不让臣僚权高危主，他实行了一系列的改革措施，将权力集中收拢在自己手中。首先是改革中央行政机构，废中书省丞相制、改御史台为都察院、设大理寺、通政司、锦衣卫与镇抚司；再改地方行政机构，改行中书省为布政司，另设提刑按察司、都指挥使司。

中央行政机构
元朝的中书省设左、右丞相二人总理吏、户、礼、兵、刑、工六部事务，总揽一切大权，皇帝成了高高在上的一个象征。当时胡惟庸担任中书省左丞相，权力很大，朱元璋以谋反罪把胡惟庸处决后，借这个机会把中书省和丞相制废除了，相对提高了六部的职权与官阶，由六部尚书直接对皇帝负责。
元朝的监察机构是御史台，朱元璋改御史台为都察院，设长官为左右都御史，与六部尚书同称为七卿。都御史的职责是核查百官枉法乱纪，辨明冤枉曲直，提督各道。都御史下面设十三道监察御史，以一个布政司为一道，共设置御史一百一十人。他们的职责是纠劾内外百官是否有违法乱纪行为，可以露章当面弹劾，也可以封章上奏弹劾；在京城里他们负责监临乡会试，巡视京营、仓场、内库、皇城等。出使到地方则巡按、清军，提督学校、茶马、巡漕、巡关，军队出征则监军记录将帅功过。大事上报皇帝，小事当即立断。监察御史的官阶虽然只有七品，但是朱元璋赋予了他们很大的权力，目的是钳制臣僚。

朱元璋还设立了大理寺，长官为大理寺卿。刑部、都察院、五军断事官所推问的诉讼，都要移交大理寺复审，没有经过大理寺复审同意的案子，一但结案，相关机构要受到严重的惩罚。大理寺和刑部、都察院合称为三司。目的是让三个司法部门互相约束牵制，不能让一个机构权力过大，形成独断专权的局面。
通政司是明朝创设的一个机构，设长官为通政使，官阶仅次于七卿。通政使的职责是奏章的上报与驳回，不论什么官署上奏，都必须通过通政司审核。议大政、大狱，官员的推选，都需通政司参与。
特务机构是明朝的独创。朱元璋为了让臣僚对他绝对忠诚，不允许对他有所隐瞒或不满，就组建了特务组织，秘密稽查官员的一举一动。当时最著名的四个人是杨宪、夏煜、高见贤、凌说，被称为“恶狗”。他们在京城秘密察听大小衙门官吏不公不法、风言风语的行为，然后上报给朱元璋。朝中的大臣谁见了都躲的远远的，官员们日夜提心吊胆，唯恐有不慎言语、动作被发现，惹祸上身。

有个大臣叫钱宰，罢朝回家吟了首诗：“四鼓鼕鼕起着衣，午门朝见尚嫌迟；何时得遂田园乐，睡到人间饭熟时。”第二天上朝时，朱元璋问他：昨天作的一首好诗，但我并没有“嫌”你啊，为何不用“忧”字。钱宰吓的直磕头谢罪。吏部尚书吴琳告老还乡，朱元璋不放心，派人去查看他的行迹，派去的人回来报说吴琳在家老老实实务农，朱元璋这才算放心。国子监祭酒宋讷，正襟危坐，一脸怒色，第二天朝见时，朱元璋问他昨天为什么发怒，宋讷大吃一惊，把生气的原因告诉了朱元璋。他问：“陛下是怎么知道我发怒的？”朱元璋把派人偷着给他画的画像拿给他看。从这些事例可见朱元璋的猜忌心有多重，臣僚的私人空间都在他的监视范围之内，何况是日常活动呢？这也是造成洪武朝很多冤狱的原因。
起初，朱元璋刺探臣僚私人言行，是派几个检校、佥事等官吏去侦查，没有形成一个机构，不能直接对官员逮捕、下狱、治罪。洪武十五年（1382年），朱元璋设立了锦衣卫这一特务机构，它的前身是吴元年（1367年）所设的拱卫司，洪武二年（1369年）改为亲军都尉府，洪武十五年改为锦衣卫。它的下面设有镇抚司，有监狱和法庭，从事侦察、逮捕、审问、判刑等事务，称为“诏狱”。

地方行政机构
元朝的地方行政机构是行中书省，统管地方军政事务。朱元璋为了削弱地方权力，在洪武九年（1376年）下令，改行中书省为承宣布政使司，设左右布政使各一人，掌管民政、财政。除南京直辖区外，全国分为十二布政司：浙江、福建、江西、广东、湖广、广西、四川、陕西、山西、北平、河南、山东。洪武十五年，又增置云南布政司，共十三布政司。各布政司的管辖区域和元朝的行中书省大致相同，简称行省或省。在承宣布政使司外，各行省另设提刑按察司，置按察使一人，掌管刑法。又设都指挥使司，置都指挥使，掌管军事。布政使司、提刑按察司、都指挥使司，称为三司，是封疆大吏。他们是平行关系，直属中央，原来由行中书省长官总揽的大权，一分为三，三方互相牵制，凡遇到重大政事，都要布、按、都三司会议，上报给中央的部院。在边远和少数民族地区，单设都指挥使司，掌管军政、民政。
布政司下的地方政权分为二级：第一级为府，长官为知府；直隶州，即直属布政司的州，长官为知州，它的地位和知府相等。第二级是县，长官为知县；一般的州，即属州的长官为知州，它的地位和知县相等。
朱元璋对中央和地方行政机构的改革，加强了中央集权，巩固了我国多民族的统一，对当时的社会秩序和社会生产都起到了促进作用。但同时也加强了对人民的控制，使封建专制主义的统治达到了极致。特别是废中书省和丞相制，是我国几千年来，封建政治史上的重要事件，这使的皇帝拥有更多的权力，成为了真正的独裁者。