乾隆五十八年中状元及第，授官翰林院修撰。嘉庆年间擢升为内阁学士，四库全书总裁、文颖馆总裁，翰林院掌院学士，工部尚书，户部、吏部尚书，武英殿总裁、国史馆总裁。道光年间任礼部，工部、吏部尚书，拜体仁阁大学士、国史馆总裁，军机大臣上行走，武英殿大学士加太傅衔。咸丰四年，卒于家中，享年86岁，谥号“文恭”入祀贤良祠。

潘世恩生有五子，长子潘曾沂，官内阁中书。次子潘曾莹，长于史学，兼擅诗文书画。三子潘曾绶，年未四十即致仕在家读书研史。

潘世恩之孙，潘祖荫为咸丰二年探花。官至工部尚书，死后皇帝赐谥号文勤，赠太子太傅。

潘家当时在清朝那是红极一时，人才辈出，潘世恩“四朝元老”，其子孙也多出士为官，当然你可以说就是因为他们家出了一个潘世恩，不然他的后代哪有那么多人能够当官。这个也不能否认，但是翻开史料，你会发现这些官宦世家都有个共同点，那就是诗书传家，代代读书，不仅读而且还大量收藏，潘世恩修建“留余堂”为藏书楼，在“留余堂”收藏图书数万卷，长子潘曾沂积藏有图书充栋，次子潘曾莹的“小鸥波馆”，孙辈潘祖荫“滂喜斋”，潘祖同“竹山堂”等。都是潘家的藏书楼。潘家从唐朝时就有人为官，可以说是官宦世家，书香门第。

潘世恩故居，如今是苏州状元博物馆。

潘世恩，他所在的潘氏一脉，人称贵潘，共出过一名状元，8名进士，16名举人。“潘”姓因此成了清朝苏州城里的大家族之一，据介绍，就是潘氏的故宅，曾有木制朱漆“行牌”上书“祖孙父子叔侄兄弟进士”和“南书房行走，紫禁城骑马”如此荣耀，当时有“天下无敌二家”之誉。

潘氏家族注重修身养性的族规家训和具有鲜明特点的良好家风，无疑是这个家族显赫的内在原因。

《潘文恭公遗训》总述潘世恩一生治家之要，由其子辑录，涵盖潘世恩关于读书，立品，居官等方面的心得体会。

1.刻苦读书

潘世恩认为，读书不仅能够增长知识，更为重要的是，书中的一些至理名言，能够锤炼人们的品格，是人们的道德境界，达到一种“其养愈粹，其气愈平，其心愈下”的高度，他提倡读书是要将所学运用到实践中，“身体力行”。

阅读书籍，心态尤为重要，潘世恩对读书应有的心态的见解，值得我们体味：第一，读书是件严肃的事情，要求子孙亲自整理书屋，营造一种整齐严肃的阅读环境；第二，读书要有刻苦不懈的精神，要求子孙“年甫十四，宜勤诵读，戒轻浮，毋见异思迁，毋半途而废；三读书要有谦虚的心态，告诫子孙不要自满，要经常自省，要向他人学习；四，读书贵在修身养性，要保持心态的平和。

2.谨慎为官

谨言慎行，重视人才是潘世恩为官的两大特色。为官谨慎，体现在议论公事，办理公事，与人共事三个方面。

议论公事，既要树立全局观，又要坚持实事求是的原则，切记立异和苟同。“勿鲁莽，勿疏急，勿厌倦，从容布置，次第举行，便不至手忙脚乱”。办理公事，坚持公平公正，又要体察民情。与人共事，要保持平和谦虚的心态，要注意团队合作，不可一意孤行。

重视人才选拔，应该选择熟悉业务，办事认真的管理，加以重用。他还教育子孙，在人才选拔上尽心尽力，切实履行好考官职责，坚持公平公正的原则。

宦海沉浮，暗礁隐现，这让潘氏族人时刻如履薄冰。他一再告诫自己和子孙后代，要谦恭，要忍耐，要谨慎，唯有此，才能使自己立官场于不败之地。

3.奉行节俭

“家无俭不旺”，勤俭节约的家风是潘氏家族崛起兴旺的重要法宝之一，俭朴的家风不仅塑造了家中子弟艰苦朴素，顽强奋斗的精神品格，更成为其在为官之后，关心百姓清正廉洁的思想基础和动力。

潘氏家族非常重视家庭教育，严格要求族中子弟。其中立身力行，治家敬业，克勤克俭等优良传统，还是值得后世借鉴。