公元1129年10月，金军开始第三次南下。金朝兵分两路，一路金兵进攻湖北黄州，守将王羲叔带头逃走，金兵安然渡江。在江州的刘光世负责长江防线。他每天只是与部下宴饮。金兵从黄州过了江他还不知道，直到金兵离江州仅几十里地了，他才仓皇逃走。金兵顺利地扫荡江西、湖南。

另一路金兵兵锋直指太湖流域。守御江淮、镇守建康的是杜充。杜充曾接替宗泽为东京留守，他留而不守，放弃汴梁南逃建康。赵构很信任杜充，不仅把江淮托付给他，还提升他为宰相。遗憾的是，杜充听到金兵渡江的消息，竟然藏在城中不敢出战。金兵过江后，他干脆领着三千军马跑到真州向金朝投降了。杜充此举博得了一个"头彩"，成了南宋建朝以来第一个投降的宰相。

赵构得知杜充投降的消息，哀叹∶"我待杜充不薄，把他从平民百姓提拔为宰相，不能再厚待了。他为什么还投降了啊?"赵构为此难过得几天吃不下饭去。杜充的投降进一步加深了赵构对武将的不信任感和防范之心。既然杜充这样的重臣、受恩深重的人都会投降，赵构还能相信谁呢?

难过的不止赵构一个人。身为杜充部下的岳飞也很难过。杜充接替宗泽后，岳飞受他统辖，一路撤往建康府。杜充南逃时，岳飞苦苦相劝∶"中原的每一寸土地都不能放弃。我们的脚一旦走了，土地就不属于我们所有了。他日我们想收复这尺寸的土地，都非要出动数十万大军不可啊"。杜充根本就不听他的意见。1129 年，建康失陷，杜充降金。岳飞毅然脱离杜充所部，带领属下人马转移到宜兴县境。

当年十二月，完颜宗弼挑选精兵，决定发起一场"搜山检海"的战役，掘地三尺也要把赵构给逮住。

宗弼非常"重视"赵构，一路南下，一心擒拿赵构。在扬州错过赵构后，宗弼轻装简从直驱江浙，又在和州打败宋军，在广德闯过天险独松岭，强渡长江至建康，听说赵构早逃往杭州了。宗弼紧追不舍，经湖州攻下杭州。赵构事先听到声响，提前东逃了。宗弼马不停蹄，强渡曹娥江，攻克越州（今浙江绍兴）、明州（今浙江宁波）追拿赵构。

金军已经深入汉族核心了，赵构冥思苦想，不知道茫茫东海，何处才是前方?宰相吕颐浩哭丧着脸建议赵构∶"皇上，东海汪洋无边，我们漂泊海上，兴许可以躲过追捕。"赵构不得不带领整个朝廷乘船入海，开始了海上生活。之后四个月时间里，除了短期停靠在章安县（今浙江台州临海）外，朝廷的衮衮诸公都在海上办公。那边的宗弼还是穷追不舍，搜集船只，入海又追了 300 余里。

金军的战斗力虽然强大，却不习水战，又不适应气候。金军船队追袭入海后就遇到了大风雨。金军哪见过这样的天气，个个脸都吓白了，又遇到和州防御使张公裕率领的大船，竟然生生被冲散了。

赵构这才转危为安，勉强度过了生死难关，继续飘荡在台州到温州沿海的洋面上。

这一段时间是南宋王朝立国后最为艰难的时期。

岳飞带着残部，转战于现在的江、浙、赣边界一带，取得了多次战斗的胜利。最后，岳飞的军队军粮用尽，将士忍饥。岳飞严令禁止扰民。建炎四年（1130 年）初春，宜兴知县钱谌派人来找岳飞，说宜兴城里的存粮够一万人吃十年，希望岳飞的部队能够来保护县境。岳飞高兴地率军来到宜兴张渚镇，休整军队。

当时太湖流域一带，部队番号杂处，散兵游勇很多，既有因为世道乱而不得不为匪的农民武装，也有溃散的宋朝正规军，还有金军强征来随同金军南下的"伪军"。为了壮大抗金力量，岳飞收降农民武装、收编朝廷的溃兵，争取来自北方的"伪军"反正。他自己就是河北人，以民族大义和同乡情谊相号召，部队不断壮大。"伪军"部队中流传说"岳爷爷军怎么样怎么样"，争相降附。岳飞和士卒同餐共饮，一杯酒，一小块肉都要分给部下。有的时候，酒太少了，他就加水，力争每个人都能尝到;每逢出师，如果士卒露宿街头，岳飞有房也不住，和大家一起露宿街头;遇到将士们婚丧嫁娶或者有个人困难、疾病，岳飞就和妻子一起亲自照顾，亲为调药。

岳飞在宜兴慢慢汇聚起来的部队是一支和之前的正规军迥然不同的部队。北宋的正规军数以百万计，但是士兵不训练、不执勤。只要十兵肯花钱，想干什么就可以干什么。朝廷任何一个级别的军衔都明码标价，谁有钱谁就当大官。奸臣高俅主政枢密院，掌管军权的时候，甚至规定招兵的时候要招那些有一技之长的人。为什么呢?因为高俅主政时期，北宋军队根本就不发军饷，你当兵的没有一技之长，怎么生活下去啊?这样的军队当然不能打仗了。金军到达黄河的时候，几万守黄士兵一哄而散。金军一条一条地凑齐渡河船只，从容南下。而岳飞的部下令行禁止，号令严明，日夜训练，以抗金复国相号召，朝气勃勃。

岳飞统率的这支部队被称为"岳家军"，主要由北方沦陷区的农民组成。他们一部分是原来宗泽在汴梁汇聚的抗金民变，一部分是河北流亡到江南的农民。赵构原来河北兵马大元帅府的军队被视为南宋的嫡系部队。岳家军自然就是非嫡系部队了。

建炎四年的除夕和春节。赵构是在东海上度过的。南宋王朝的命运就漂浮在吉凶未卜的海面上。

赵构和他的朝廷在海上东躲西藏了四个多月。从定海入海的时候，没有人想到这一去要躲藏这么长时间，因此没有装载足够的给养物资。没几天，赵构的船队就陷入了困境。风吹雨打，各船只都残破不堪。人们的生活自然也是苦不堪言。最后，整个船队只剩下一双鞋子，只好给赵构穿。从宰相以下到普通士卒，人人都穿草鞋。最严峻的是，粮食也没有了，整个船队只剩下五张饼。赵构一个人就吃了三块半，舔舔嘴巴，意犹未尽。旁边的大臣和将士们眼巴巴地看着皇帝吃饼，却也只能舔舔嘴巴充饥。患难见真情。颠沛流离之中，赵构的侍妾吴氏不仅不离不弃，还身披铠甲铁盔、腰挎宝刀，贴身保护丈夫'。航海途中，有鱼跃入御舟，吴氏宽慰赵构说∶"此周人白鱼之祥也。"赵构高兴之余，深受感动，不久封吴氏为才人。

正月十五元宵节，船队经历了一场虚惊。这天下午，海上雾气笼罩下隐约可见有两艘大船冲直向逃难船只冲来。金军占领明州后，大规模组织船队下海追捕赵构。赵构以为遇到了金军船队，顿时吓死了几亿个脑细胞。等船只近了，才欣喜地发现原来只是两艘贩卖橘子的船。朝廷上下顿时欢呼声一片，一来是绝处逢生，二来是上天送来了吃的东西。赵构豪爽地下令，把这两船的橘子都买了，分给大家当元宵夜晚餐。贩卖橘子的商人原来见前面有一支极其破烂的船队，"狗眼看人低"，以为是贫民船队，就蛮横地冲撞过来。现在知道竟然是"圣驾"，大惊失色，哪里敢不卖橘子。

浙东一带留到元宵节再吃的橘子一般是陈橘，其实味道并不好，留着年底吃也就为图个稀奇。饿了好几天的赵构和群臣们却都吃得津津有味。吃完了，赵构想起一个苦中作乐的方法。他下令把油灌进橘子皮里，做成橘灯，放到海上随波漂流。反正大家闲着也没事情做，都聚在船舷，有滋有味地看一盏盏小橘灯散布在东海之上。海水波动，小橘灯也忽上忽下;船只行驶，小橘灯也忽远忽近，让一群逃难的人获得了难得的休闲。

现在浙东一带还有春节期间吃橘子，点小橘灯的习俗。据说就是赵构时开的头。

对于赵构来说，流亡海上不算什么，不被抓住就行，剩下的，就看陆地上那些勤王军的行动了。