1902年，柯庆施出生于安徽歙县的一个农村，实际上排行老三，他出生前家中曾先后有过两个儿子，不幸的是都相继夭折了。

1910年，柯庆施的父亲柯临久创办新式学堂，聘请外地的名师，广纳贤才，自己担任校长，以“醒民强国”为宗旨，希望能够作出一番事业。

柯临久曾见过世面，受到了当时西方的影响。所以，回乡后，他决定通过办学来践行自己教育救国的理想。

首先，他反对女子无才便是德的传统习俗，在当时宗族气息浓郁、贞节牌坊林立的徽州，柯临久接收适龄女子入学读书，这一做法可谓石破天惊，在当地引起了极大的关注。不少外村人听说后，纷纷带着家中的儿子女儿前来求学。

据说，当时交通不便的小小农村一时间成为了歙县南部的文化教育中心。这所学校是初等小学，学制四年，有正规的毕业证书，学历也是公认的。

1913年，柯庆施从该校毕业，1918年，年仅16岁的柯庆施进入省立二师本科第五班学习。在校学习期间，他加入了“徽州救国十人团”，这是一个爱国激进组织。关于该组织，《申报》曾有过简单的报道：

“徽州学界先后组织救国十人团及国货贩卖部，屯溪茶务讲习所亦列队游行，举行露天讲演，散布传单，劝告商店抵制日货。”

不久后，参加“徽州救国十人团”的柯庆施被校长以“思识一时误谬”责令休学。

1920年，在陶行知等人的帮助下，柯庆施辗转来到南京求学，不久又去了上海，并进入了上海外国语学社学习俄文。期间，他又加入了中国社会主义青年团。

柯庆施加入中国社会主义青年团除了受到周边朋友的影响外，还有一位对他影响最大的人便是陈独秀。1920年开始，柯庆施便已经开始和陈独秀通过信件往来了，对于这个小自己20多岁的同乡，陈独秀很是喜欢。正是在陈独秀的鼓励下，他才从南京又来到了上海。

1922年，柯庆施、张国焘和邓培前往莫斯科参加共产国际召开的远东各国共产党及民族革命团体第一次代表大会。年仅20岁的柯庆施受到列宁的接见，并与他握手。后来，邓培于1927年牺牲，张国焘则叛出党外，柯庆施也就成为了中共党内唯一一个见过列宁的人了。或许也正因如此，毛主席才会称呼他为“柯老”。

柯庆施早年参加革命曾历经凶险。1921年10月4日，柯庆施刚进入陈独秀家不久，巡警突然便包围了陈家，紧接着，陈独秀、包慧僧、柯庆施、杨明斋、陈独秀的夫人高君曼全部被捕。上海的报纸纷纷作了报道，柯庆施的名字也随即进入了人们的视野。后来，在共产国际代表马林的努力下，五人得以平安出狱。

抗日战争爆发后，柯庆施来到延安，先后担任中共中央统战部副部长、延安女子大学副校长。1941年，柯庆施与延安女子大学政治处的一位名叫曾淡如的女干部相恋结婚。曾淡如是四川人，比柯庆施小4岁，她在1926年加入了中国共产党，1940年春天，来到了延安。

延安整风期间，柯庆施备受考验。他主要是曾在1933年奉中央命令从上海去满洲省委执行任务的问题。这一问题在延安整风期间被扩大化，他甚至被安上了“国民党特务”的帽子。就连延安中央大礼堂的墙上都写着“柯庆施是大特务”的标语。当时，他想请一位了解自己经历的同志作证，却没想到那人指着他就大喊“我证明你就是大特务”，这让柯庆施很不好受。更糟糕的是，柯庆施的妻子也受到牵连，于1943年1月选择了自杀。

此后，柯庆施在一段时间里没有再得到重用，或许正是受到了延安整风的影响。尽管当时有部分人对他存在不好的看法，但毛主席却很看好他，并称赞他“守规矩，有成绩”。

解放战争期间，石家庄解放后，柯庆施便担任起了石家庄市市长，一直到1949年4月。新中国成立后，柯庆施奉命前往南京担任副市长，此后短短3年时间里他便升任为中共江苏省委第一书记。

不久后，陈毅被任命为国务院副总理，同时成为外交部部长的不二人选。就这样，华东及上海的重要领导位置出现了空缺。柯庆施随即成为事实上的一把手，担任中共中央上海局书记。期间，柯庆施一手提拔了张春桥，担任自己的类似政治顾问这类的角色。柯庆施在后来越发擅长于从中央领导人的言论中觉察、领悟到其意向和思路，并能够果断进行鼓吹和宣传，这都跟长袖善舞的张春桥离不开。