李穆，自称陇西成纪人，汉骑都尉李陵的后代。李陵没于匈奴，子孙世代居于北狄。后来跟随北魏拓跋氏南迁，复归汧陇。祖李斌，以都督之职镇守高平，即居家于此。父李文保，早死，李穆显贵后追赠司空。

李穆为人“风神警俊，倜傥有奇节，”才兼文武，多谋善断。周太祖宇文泰首举义旗，李穆便投其营下统军。永熙末年，奉迎魏武帝，授都督，封永平县子，食邑三百户。又领乡兵平乱，累以军功进爵为伯。一次跟随宇文泰击齐师于芒山，宇文泰临阵落马，李穆突围而进，拿马鞭打着宇文泰的后背，喝骂道：“无用的东西！你的主人在哪里，怎么只有你在这里？”随即叫他骑上士卒的马匹，一同冲出包围。敌人见其轻侮，认为落马者肯定不是贵人，就没有穷追，因此才得脱身。

撤军途中，宇文泰与李穆相对而泣，泰又环顾左右说：“成我事者，其此人乎！”即令李穆抚慰关中，所到之处无不平定，擢升为武卫将军、仪同三司，进封安武郡公，增邑一千七百户，“赐以铁券，恕其十死。”不久加授开府，领侍中。当初芒山之败，李穆让宇文泰骑一匹菊花青马突围，宇文泰因此就将厩内所有的菊花青马赐给李穆，又封李穆姊妹皆为县君，认作娘舅家，分别予以赏赐，升迁李穆为太仆。李穆跟随于谨破江陵，增邑千户，进位大将军。击破曲沔蛮，授原州刺史。拜穆嫡子李惇为仪同三司，李穆因两兄李贤、李远并为佐命功臣，而子弟又都身荣显贵，深恐树大招风，辞不受封，宇文泰不答应。不久调任雍州刺史，兼小冢宰之职。北周元年，食邑增至三千七百户。又别封一子为升迁伯，李穆请求将此爵位让于其兄子孝轨，得到许可。

宇文护执政后，穆兄李远及其子李植都被诛杀，李穆当受连坐罪。此前，李穆知道李植为人轻率，行事鲁莽，深恐祸及家族，几次劝李远除掉他，李远终未能听他的话。李远临刑时，哭着对李穆说：“显庆，我不听你的话，以至于此，将复奈何！”李穆因此获免，贬官为民，他的子弟也全免官。植弟淅州刺史李基，罪当坐戮，李穆请求以其二子替基去死，宇文护念其仗义，就释放了李基，也不问穆子之罪。不久，李穆复职，拜开府仪同三司、直州（今陕西石泉县）刺史，复爵安武郡公。武成中，李氏子弟一律恢复官爵。李穆擢为少保，进位大将军。一年后，官拜小司徒，进位为柱国，升迁大司空。奉诏修筑通洛城，即函谷新关。天和中，进爵申国公，持节绥集东境，修筑武申、旦郛、慈涧、崇德、安民、交城、鹿卢等诸镇。建德初年，拜太保。一年后，出任原州总管。数年后，进位上柱国，转调并州总管。大象初年，食邑加至九千户，拜大左辅，兼任并州总管。

次年，杨坚作相国辅周政，尉迟迥起兵反，遣使招李穆。李穆扣押其使，上书呈报，穆子士荣认为李穆身居关中，掌管着天下精兵，暗中劝父造反。李穆痛责此子，断然拒绝，随即奉献十三环金带于杨坚，此物原为周武帝所赐，是天子的专用品。不久又上密表，假托天命，劝杨坚代周称帝。581年二月，杨坚受禅称帝，建立隋朝，即给李穆赐诏书说：“公既旧德，且又父党，敬惠来旨，义无有违，便以今月十三日恭膺天命。”李穆很快前去朝谒，隋文帝杨坚谦身下坐，以礼相迎，即拜李穆为太师，赐穆“赞拜不名，真食成安县三千户。”同时，李穆子孙无论年龄大小（包括襁褓中的婴儿）一律封拜为仪同，“其一门执象笏者百余人。”

李穆身为魏周数朝的元老宿将，全力辅佐当时并无煊赫大功的杨坚建隋称帝，当时贵盛，无与伦比。但他唯恐“盈满招损”，就上表告老还乡。隋文帝下诏坚决挽留他，说“吕尚以期颐佐周，张苍以华皓相汉”，将李穆同古代的高贤大才相提并论，让他不必每天早朝，平时在家休养，如有大事还须共谋。穆居高位，思虑缜密，见识弘远，总能为隋文帝解惑释疑，文帝非常倚重他。过了一年，文帝又下诏盛赞李穆说：“太师、上柱国、申国公，器宇弘深，风猷遐旷，社稷佐命，公为称首，位极帅臣，才为人杰，万顷不测，百炼弥精。……自今已后，虽有愆罪，但非谋逆，纵有百死，终不推问。”君臣之恩义已极。

开皇六年，李穆卒于家中，享年七十七岁。隋文帝诏遣黄门侍郎监护丧事，赐给送葬所用之马四匹，粟麦千斛，布绢一千匹，追赠使持节，冀、定等十州诸军事，冀州刺史。