高力士，潘州(今广东茂名)人。他本是十六国之一的北燕皇室后裔，原名冯元一，北魏灭亡北燕时，其宗室的一支在冯业的率领下，于北魏太武帝太延二年(436)渡海南下，投奔南朝刘宋政权，被任命为新会(今广东新会北)太守。

自冯业之后，其子冯谊、其孙冯融，三世为守牧。为了能够得到当地土著的支持，冯融为其子冯宝聘娶岭南豪族冼氏之女为妻，这就是历史上著名的冼夫人，她为维护国家的统一，反对分裂割据，做出了很大的贡献。

隋朝末年，天下大乱，冼夫人之孙冯盎扫平动乱，占据了岭南二十余州。唐朝建立后，冯盎于唐高祖武德五年(622)归顺了唐朝，被封为吴国公、高州总管，其诸子分别为岭南诸州刺史。

在唐朝初期，冯氏家族在岭南势力很大，所谓“奴婢万余人，所居地方二千里”(《旧唐书·冯盎传》)冯元一的祖父冯智玳、父亲冯君衡先后任潘州刺史，其家长期居住在潘州，故旧史记载说高力士(冯元一)为潘州人，也是有道理的。

冯氏家族在冯君衡时遭到沉重的打击。武则天为打击岭南的地方势力，巩固自己的统治，在长寿二年(693)将冯君衡罢官，家产抄没。冯元一当时年仅十岁，便被没为官奴，与家庭分离了。

五年后，即冯元一十五岁时，被岭南讨击使李千里所获，献人宫中，当了小宦官。“后因小过，挞而逐之，内官高延福收为假子。”(《旧唐书·高力士传》)经过高延福的活动，武三思在这方面也出过力，年余，遂又将其召入宫中，继续当宦官。冯元一改名高力士，当是在其认高延福为养父时。

唐中宗统治时期，政事混乱，高力士遂投靠了临淄王李隆基《旧唐书·高力士传》说：

“景龙中，玄宗在藩，力士倾心奉之，接以恩顾。及唐隆平内难，升储位，奏力士属内坊，日侍左右，擢授朝散大夫、内给事。"

所谓“唐隆平内难”，就是指诛灭韦氏的斗争；“升储位”，指李隆基被立为太子。内坊为太子东宫所属的宦官机构，高力士到这里任职，从此以后便名正言顺地成为李隆基的亲信了。

此后，高力士还参加了诛灭太平公主集团的斗争，因功升任右监门卫将军、知内侍省事。高力士文武全才，据记载他曾担任过宫教博士之职，此职掌教习宫人书算众艺，没有较高的文化素养是不可能胜任的。

其《墓志铭》记载说：

“令受教于内翰林，学业日就，文武不坠，必也射乎。五善即闲，百发百中。”

可见高力士的学识来自于宫廷教育。高力士的射术达到了百发百中的程度，另据其《神道碑》的记载，有一次曾一箭射中双雕。正因为高力士具有这样的能力，才能够数次参与平定内乱的战斗。

唐玄宗即位以来，高力士的地位也水涨船高，历任右监门卫大将军、内侍监，迁冠军、镇军、辅国、骠骑大将军、开府仪同三司，封齐国公，累充内飞龙大使、开漕使等官职。

权力也很大，所谓“每四方进奏文表，必先呈力士，然后进御，小事便决之”。玄宗也常说：“力士当上，我寝则稳。”(《旧唐书·高力士传》)这一时期的许多将相能够身致高位，都与高力士有关，如宇文融、李林甫、李适之、盖嘉运、韦坚、杨慎矜、王铁、杨国忠、安禄山、安思顺、高仙芝等无不如此。

由于高力士权势甚大，太子呼其为“二兄”，诸王公主皆呼其为“阿翁”，驸马辈呼其为“爷”。平时高力士在玄宗寝殿侧帘帷中休息，在殿侧另建一院，为高力士修功德处，“雕莹璀璨，穷极精妙”。

高力士家富于财，资产殷厚，即使王侯也难以比拟。他曾在长安来庭坊建造宝寿佛寺，又在兴宁坊造华封道士观，规模宏大，富丽堂皇。宝寿寺钟铸成时，高力士举办斋会庆祝，举朝官员全都到场。凡击钟者，击一杵施钱百贯，有人击二十杵，少者亦击十杵。他还在京郊建造水碾，“并转五轮，日碾麦三百斛”(《旧唐书·高力士传》)，获利无数。

开元初，高力士娶吕玄晤女为妻，此女容貌美丽，因为这个原因，吕玄晤得以充任少卿、刺史等高官，吕氏其他子弟亦官至亲王傅。后来吕夫人死，葬长安城东，葬礼甚盛。无论是朝廷大员还是地方长吏，无不争先致祭，从城中高力士宅至东郊墓地，车马充溢，络绎不绝。

高力士虽然富贵满盈，但并不骄盈自满，为人谦虚谨慎，小心翼翼地侍候着皇帝。他善于察言观色，分析形势，如果有风险，虽亲爱者临覆败也不营救。不过高力士一生也做了不少有益的事情，有时敢于向玄宗进谏。

如太子李瑛死后，宰相李林甫力主立寿王李瑁为太子，李瑁排行第十八，又无突出的才干和功劳，因此玄宗犹豫不决，寝食难安。高力士遂劝其立忠王李玙为太子，因为李玙在玄宗现存诸子中年纪最长，从而平息了一场纷争。

玄宗晚年倦于政事，曾打算将政事交给宰相李林甫。高力士却认为天下大权不可轻易交给他人，一旦养成威势就无可挽回了。玄宗听后虽然不乐，但却自此打消了交权的念头。玄宗命高力士到民间为太子选美，高力士认为如果在民间选美，势必惊动百姓，致使社会动荡不安，认为不如从掖庭局选取数名白皙貌美之女，得到了玄宗的赞同。

高力士对玄宗忠心耿耿，为了维护其统治尽心竭力，除了参加过诛杀韦氏、太平公主集团的斗争外，在天宝十一载(752)还平定过一次内乱。这年四月，御史大夫、京兆尹王供之弟户部郎中王焊与邢绰关系密切，邢绰密谋勾结龙武万骑杀龙武将军，然后举兵作乱，放火烧诸城门，杀死宰相及重要朝臣。

事泄后，玄宗命王供抓捕乱党，王供以为其弟与邢在一起，迟迟不肯行动。他命人先招王焊回家，然后与杨国忠率兵包围了邢绰家。邢绰与数十人持弓刀突出格斗，并且相约只杀杨国忠所率之人而不杀王供所率之兵。杨国忠见状，也不敢贸然动手，双方一时相持不下。这时高力士率飞龙禁兵四百余骑赶到，击斩邢绰，捕获其党，皆斩之，从而一举平定了叛乱。

安史之乱爆发后，高力士保护玄宗安全到达西蜀。官军收复长安后，已是太上皇的玄宗又与高力士一同返回长安，住在兴庆宫中。

由于唐肃宗的宠臣大宦官李辅国从中作梗，调唆肃宗将其父迁移到太极宫居住。李辅国亲率射生军五百骑露刃拦道，强迫玄宗迁移。

高力士见状，叱令李辅国下马，强迫他与自己共同护卫玄宗移往太极宫。因为这个原因，李辅国对高力士恨之入骨，设法将高力士流放到巫州(今湖南黔阳县西南黔城镇)，时在上元元年(760)六月。

唐肃宗宝应元年(762)，高力士遇赦返家。六月，得知玄宗离世的消息，悲伤过度，身患重病。八月，死于返回途中的朗州(今湖南常德)，终年七十九岁。