熹平三年（174年），曹操被举为 孝廉，入京都洛阳为郎。不久，被任命为洛阳北部尉。洛阳为东汉都城，是皇亲贵戚聚居之地，很难治理。曹操一到职，就申明禁令、严肃法纪，造五色大棒十余根，悬于衙门左右，“有犯禁者，皆棒杀之”。皇帝宠幸的宦官 蹇硕的叔父 蹇图违禁夜行，曹操毫不留情，将蹇图用 五色棒处死。于是，“ 京师敛迹，无敢犯者”。曹操也因此得罪了一些当朝权贵，碍于其父曹嵩的关系，明升暗降，曹操被调任顿丘（今清丰）令。

光和元年（178年），曹操因堂妹夫濦强侯 宋奇被宦官诛杀，受到牵连，被免去官职。其后，在洛阳无事可做，回到家乡 谯县闲居。

光和三年（180年），曹操又被朝廷征召，任命为 议郎。此前，大将军 窦武、 太傅 陈蕃谋划诛杀宦官，不料其事未济反为宦官所害。曹操上书陈述窦武等人为官正直而遭陷害，致使奸邪之徒满朝，而忠良之人却得不到重用的情形，言辞恳切，但没有被 汉灵帝采纳。尔后，曹操又多次上书进谏，虽偶有成效，但东汉朝政日益腐败，曹操知道无法匡正。

中平元年（184年）， 黄巾起义爆发，曹操被拜为 骑都尉，受命与 皇甫嵩等人合军进攻 颍川的黄巾军，结果大破黄巾军，斩首数万级。随之迁为济南相。济南相任内，曹操治事如初。济南国（今山东 济南一带）有县十余个，各县长吏多依附贵势，贪赃枉法，无所顾忌。曹操之前历任国相皆置之不问。曹操到职，大力整饬，一下奏免十分之八的长吏，济南震动，贪官污吏纷纷逃窜。“政教大行，一郡清平”。 [9]

当时正是东汉政治极度黑暗之时，甚至有了买官制度。朝廷徵还其为东郡太守，拜为 议郎，曹操不肯迎合权贵，遂托病回归乡里，春夏读书，秋冬弋猎，暂时隐居了。 [10-11]

当时天下纷乱，先是发生了 冀州刺史 王芬联合南阳 许攸、沛国 周旌等地方豪强，谋划废黜灵帝立 合肥侯的事件。王芬等人曾希望曹操加入他们，但被曹操拒绝，后来王芬事败自杀。接着，又有西北 金城郡（今兰州）的 边章、 韩遂杀死刺史和太守，率兵十余万反叛朝廷。 [12]

中平五年（188年），汉灵帝为巩固统治，设置西园八校尉，曹操因其家世被任命为八校尉中的典军校尉。