随着大模型军备竞赛终极阶段越来越近,某些玩家对于“弯道超车”的渴望也变得空前迫切,纷纷开始八仙过海,各显神通。
5月底,华为发布了大模型盘古Pro MoE 72B,彼时,多家财经、科技媒体上出现了《昇腾×盘古:软硬协同炼就MoE推理性价比之王!》、《首次打榜就登顶,华为盘古如何以小胜大?》等软文。
这些不知出自何人之手的杰作吹嘘说,与其他动辄千亿以上的大模型相比,盘古Pro MoE以72B总参数量达到了59分,千亿参数量以内大模型排行并列国内第一。
新近的一份调查意外地扒掉了“国内科技界一哥”的遮羞布。
7月4日,Honest AGI Community 6位成员联名发表了一篇题为《LLM 的内在指纹:持续训练不足以窃取模型!》(Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model)的论文。
在这篇长达10页的文章中,几位研究人员通过比较翔实的实证比较,发现盘古Pro MoE模型与阿里Qwen-2.5 14B模型在注意力参数分布上的平均相关性存在“惊人一致”,高达0.927,远超其他模型对比的正常范围。
他们认定,盘古大模型并非从头训练,而是通过升级改造技术从Qwen-2.5 14B模型派生而来。
“这突显了潜在的模型剽窃、版权侵权和信息造假案例。”
/嵌入层局部重置)、学术文件蓄意造假(训练规模/架构创新声明)等,系统性掩盖模型来源和学术不端行为。
不仅如此,传统模型主要依赖于在训练或推理阶段嵌入的水印技术保护知识产权,论文还说,华为的开发人员在可能意识到了自己的不当行为后,故意采取技术手段刻意伪装(分词器
丑闻曝光后,盘古LLM项目组组长解释说,对方的评估方法不科学,不同层数的模型也可以得到高度相似的结果。
但HonestAGI团队反击说,任何分类问题都有一个阈值来识别决策边界,本次研究疑似值为0.9,且是一个用于初步比较的工具,而盘古“不幸地”在进一步调查之前便触发了预警。
他们还提出了一个灵魂拷问:论文中对FFN(前馈网络)的分析以及主页上发布的许多新结果,这些都是“巧合”吗?开源社区正在发现分析梯度和键值缓存的相似性等更多“巧合”。
在说服HonestAGI团队无果后,7月5日,盘古Pro MoE技术开发团队换了一个策略,在华为AI官方公众号“诺亚方舟实验室”紧急发布了《关于盘古大模型开源代码相关讨论的声明》,试图以情动人。
但是,网友对此似乎并不买账。
知乎网友“邃石1314”嘲讽说:“就看声明,至少用了阿里的开源模型,其他的不知道。”另一位网友也补了一刀:“他们甚至不敢在声明里提千问或者阿里的名字。”
Pro MoE的论文突然遭到404。
就在大家期待双方进一步正面交锋的时候,诡异的一幕出现了,质疑盘古
不过,在正义与良知的驱动下,一位深喉挺身而出。
7月6日,盘古大模型团队研发人员、华为诺亚方舟实验室员工在某自媒体上撰写了《盘古之殇:HW诺亚盘古大模型研发历程的心酸与黑暗》长文,通过自己的所见所闻与部分同事口述,详细揭露了华为前算法应用部部长、现诺亚方舟实验室主任、小模型实验室主任王云鹤多次套壳Qwen 1.5 110B、Qwen 2.5 14B、Deep Seek v3的事实。
“听同事说他们为了洗掉千问的水印采取了不少办法,甚至包括故意训了脏数据。”
在当事人看来,这种事已经远远超越了一位技术从业人员的底线,以至于盘古大模型抄袭千问事件闹得沸沸扬扬之后,其除了有点担忧盘古品牌又不禁感到大快人心,大家曾在无数日日夜夜,对内部某些人一次次靠着造假就能获得无数利益的行为咬牙切齿却无能为力,这种压抑和羞辱消磨了他们对华为的感情,甚至怀疑自己的人生和价值。
不管这场罗生门能否引发华为高层的重视,最终如何收场,但有一点是肯定的,他们不是第一次被抓包了。
2019年春天,一位数码博主用P30 Pro对着月亮随手一拍,照片里连环形山都清晰可见,引发激烈争议,#华为拍月亮是不是作弊#话题一度冲上热搜。后来,天文爱好者用专业设备验证并非华为技术有多出众,而是主要通过算法优化实现。
去年,该公司在一次发布会上演示大模型生成图片的程序又出现乌龙,按下Ctrl-C中断后,屏幕上显示了time.sleep(6)的代码。专业人士认为,华为展示的是预先准备好的结果,并非现场运行。
至于他们宣称耗时数年打造的自研鸿蒙系统则闹出过更大的笑话,2022年,有网友爆料称,将自己的华为手机系统默认语言从中文变成英文后,中文界面中显示的“Harmony OS”秒变“Android System”,鸿蒙被大家纷纷嘲讽成“套壳牌安卓”。
一个拥有20多万员工的巨无霸为何频频出乖现丑?这里面有着多方面的原因,没有边界感,无所不为显然是最重要的因素之一。
不少创业者都对华为心存畏惧,在互联网上,后者有着“行业百草枯”称号,所到之处寸草不生。然而,硬币的另一面是,全面出击需要大量的资源,即使是年销售收入超过8600亿、居于《财富》中国科技50强冠军也不可能无限投入,何况近年来鸿蒙系统消耗了大量人力、物力、财力,必然会影响到部分业务的支持力度,这些部门的负责人很容易选择剑走偏锋,伤害到整个企业的形象。
实际上,越是大公司越应该明确自己的边界,既有助于突出自身的主营业务,也能让别人有钱可挣,形成多赢局面,赚走最后一块铜板是极度缺乏社会责任感的表现。
人工智能虽然被视为未来十年最重要的技术,但通用大模型窗口正在加速关闭,全球范围内未来能留在牌桌的不超10家,局势已经很明朗,有资格参与下一轮角逐的选手基本确定,在很难取得突破的情况下,华为应集中资源打造手头的鸿蒙,在大模型方面,选择与Deep Seek、阿里千问或其他开发商服务不寒碜。
热门跟贴