2012年，Netflix用线性回归算法把推荐准确率提升了10%，直接省下每年10亿美元的内容采购成本。这个看似"高中生都会"的数学工具，至今仍是硅谷工程师面试的必考题——但90%的候选人写不出能跑的版本。
线性回归（Linear Regression，一种用直线拟合数据的预测方法）的本质，是让机器学会"如果A，那么B"的朴素直觉。你不需要懂微积分，但得明白：为什么同一套算法，有人能预测房价涨跌，有人只能拟合一团乱麻。
从"猜成绩"理解核心方程
假设你要预测学生的考试分数。收集100个样本后，发现一条粗糙规律：每天多学1小时，平均分高5分。这个关系用初中数学就能表达——y = mx + c。
y是预测分数，m是"学习效率"（斜率），x是学习小时数，c是"裸考基础分"（截距）。比如某学生m=5、c=40，学3小时的预测分就是55分。
关键洞察：线性回归不追求"猜对某一个"，而是让整体误差最小。 100个学生里，有人超常发挥，有人失误，但这条线要站在"让所有人集体最满意"的位置。
原文作者打了个比方：调整m和c，就像调收音机的旋钮。左右拧动，直到杂音最小、信号最清晰。这个"拧旋钮"的过程，就是训练模型。
最小二乘法：为什么平方误差？
早期统计学家用"绝对误差"（预测值减真实值的绝对值），但发现有个麻烦：绝对值函数在零点不可导，算起来费劲。平方误差不仅光滑可导，还有一个特性——放大异常值的影响。
这意味着什么？如果你的数据里有"学1小时考95分"的极端样本，平方误差会逼着你重视它，而不是假装没看见。原文作者认为这种"自我纠错"机制，让最小二乘法成为工业界的默认选择。
具体计算时，你把所有样本的（预测分-真实分）²加起来，得到一个"总失误值"。目标很明确：找到那对(m,c)，让这个值最小。
但问题来了：100个样本可以手算，100万个呢？
梯度下降：机器自己的"试错本能"
1960年代，斯坦福实验室的工程师们想出一个笨办法：先随便猜一组(m,c)，然后看往哪个方向走能让误差变小，一步步挪过去。这就是梯度下降（Gradient Descent，一种通过迭代寻找最优参数的优化算法）。
原文的比喻很形象：站在山顶找下山最快的路。每一步都选最陡的方向，直到谷底。这里的"陡"就是误差函数对m和c的偏导数，"谷底"就是最优解。
学习率（Learning Rate，每次迈步的大小）是个精细活。迈太大，会在谷底附近震荡；迈太小，算到天亮也到不了。原文作者提醒：实际工程中，调学习率的时间经常超过写模型本身。
一个反直觉的事实：梯度下降不能保证找到全局最优。 如果误差函数有多个"坑"，你可能困在某个局部谷底，以为已经最好了。线性回归的幸运在于，它的误差函数是凸函数——只有一个坑，跳下去就是终点。
原文作者埋了个伏笔：梯度下降的完整实现留到下一篇。但给急性子指了条路——可以去搜那篇"amazing blog"（原文未给出具体链接，作者留的钩子）。
手写代码：从公式到Python
理论到代码的鸿沟，往往比想象的大。原文给出的核心步骤：
第一步，初始化m=0、c=0。这相当于机器说"我啥也不懂，先瞎猜"。
第二步，对每一组数据，计算预测值y_pred = m*x + c，再算误差error = y_true - y_pred。
第三步，用误差更新m和c。m的新值 = 旧m + 学习率 * error * x的平均影响，c同理。这里的"平均影响"需要遍历所有样本累加，再除以样本数。
重复第二步和第三步，直到m和c的变化小于某个阈值，或者达到最大迭代次数。
原文强调：从零写一遍，比调100次sklearn（一个Python机器学习库）的参数更有价值。你会遇到数值溢出、学习率爆炸、收敛停滞——这些坑，调包侠永远意识不到。
有个细节值得玩味：原文的代码示例被截断了，停在"Having t"。但前面埋的线索足够完整——m和c的更新公式、学习率的选择、迭代的终止条件，拼起来就是可运行的版本。
Netflix那10亿美元省在哪？线性回归不是直接推荐电影，而是预测"用户会给这部电影打几分"。预测准了，才知道该把哪部片子塞进首页。这个分数预测的底座，就是y = mx + c的变体——只是x从"学习小时"变成了"用户历史行为"，m和c从两个数变成了矩阵。
2012年的Netflix Prize竞赛，冠军方案是107个算法的融合。但线性回归始终在里面，像老派的底盘工程师，沉默地托着那些花里胡哨的神经网络。
你现在能写出那3行核心代码了吗——还是依然准备直接import sklearn.linear_model？
热门跟贴