智东西11月4日报道，集成高算力与大模型的AI一体机，凭借开箱即用、降低使用门槛、减少试错成本、无数据泄露风险等优势，正成为越来越多企业实现大模型轻量化落地的“新宠”。
围绕惠普与星环科技在今年5月合作推出的大模型服务平台一体机，近日，惠普个人信息产品部高级计算与解决方案产品部总经理徐鸣、星环科技联合创始人兼副总裁朱珺辰与智东西等少数媒体进行了深入交流。
该一体机基于惠普Z系列AI工作站，适配并搭载了星环的Sophon LLMops大模型开发管理平台，可提供主流大模型的一键上架和高性能部署推理，还能预装标准的大模型场景应用，实现开箱即用，并通过在企业内部私有化部署，能够保证企业隐私数据安全。企业可以根据自身训练或推理需求，自由选配芯片及内存，快速体验高效便捷的大模型开发和应用全流程能力。
朱珺辰谈道，星环科技正将定位从数据基础设施（Data Infra）延伸到AI基础设施（AI Infra），在与中小企业合作过程中，发现较多企业在意投入产出比，需要一个有价值的大模型应用、一个整体的解决方案，例如底层有惠普AI工作站、上层有将大模型与数据库结合的能力。
双方合力打造的AI一体机，不仅有硬件、软件，还有针对用户应用场景提供的相应方案，无论客户的业务问题是什么，惠普和星环都有对应的咨询、调优等相关服务来帮助解决。
一、AI一体机：灵活配置算力与算法，针对性解决业务问题
对于企业来说，惠普和星环科技合作打造的大模型服务平台一体机具备如下优势：
一是可根据行业和客户需求，提供一些定制化配置。徐鸣谈道，当前不可能用一个通用大模型覆盖所有行业的需求，很多企业需要一个轻量化、低延时、没有断网问题、安全自主可控、可本地管理、规模较小的垂类大模型。星环的产品有很多客制化模块和算法，惠普的产品线覆盖台式PC、移动PC等不同类型，从而能够向客户提供充分的选项来匹配相应的算力和算法。
二是提供便捷高效的大模型开发与应用工具。惠普提供的高规格、高性能AI算力平台，结合星环大模型开发管理平台Sophon LLMOps的产品能力，该一体机可提供包括语料知识精细化处理入库、提示词开发、语料数据标注、大模型微调训练、大模型评估部署到大模型应用构建和应用部署上线的全链路工具能力。
三是保障数据安全稳定。一体机支持在企业内部的私有化部署，确保将企业机密数据留在本地。惠普Z系列严选企业级部件经过360,000小时严苛测验，能确保平台在长时间连续高负载运算环境下的整机兼容性和稳定性，为企业的数据安全和研发工作保驾护航。
四是降低成本。据朱珺辰分享，从持续投入的角度来衡量，选择云上大模型的综合成本相对较高，需要自己找对应的服务厂商、做投入和调优，投入产出不对等。徐鸣补充道，无论是提升每个员工的生产效率，还是减少企业要投入的成本，都有助于企业降本增效。
朱珺辰解释说，不同客户的需求不同。一些客户看重投入产出比，会考量预算、数据安全性等问题，需要能解决具体业务问题的大模型。
比如在企业合同审核应用中，企业可以通过自己控制数据、结合大模型应用来替代以前的人工手段，使用开箱即用的工作站，将审核流程智能化，通过参考直观的投入产出评估，更快更好地做出决策，大幅提升企业经营效果。
除了大模型外，企业内部数据知识库的构建是必要的。企业关注安全性和准确性，不可能将所有数据都用于训练模型，因此还需要RAG技术来外置一个单独的存储系统、对企业中的私密数据做知识库构建。这正是星环所擅长的，星环的很多技术可将部分信息有效地自动化处理和构建，再结合大模型技术，使回答有据可依、更加准确。
二、合作两年，共同验证，帮客户绕过软硬件试错阶段
据徐鸣分享，工作站是PC（个人计算机）的一个变种，可以理解成一个性能强劲的PC，具有高度客户定制化属性，根据需求会进行不同配置的排列组合，内存能做到1TB、2TB乃至更高。业内第一款真正意义上的工作站就是惠普做的。
与普通PC不同的是，工作站必须与行业软件适配，做大量的ISV（独立软件开发商）认证。惠普Z系列工作站通过了21000+ ISV软硬件组合认证。徐鸣说，基于这些经验和知识的积累，惠普了解什么行业的客户在某个场景中更适合使用什么样的配置、怎样获得最优性价比。
惠普提出“AI即服务（AI as a Service”），与星环科技一起在了解客户需求后，通过共同验证和适配软硬件组合、迭代优化算法，结合用户的业务使用场景，做出一个客制化的产品。
朱珺辰说，星环科技的定位在基础软件领域，有超过1500家终端客户，很多客户都在思考如何将大模型技术运用到经营业务中。
徐鸣谈道，惠普之所以与星环科技达成合作，既是因为双方有相近的B端企业客户群体，而且客户都存在AI转型的想法和动机，又是因为惠普的产品硬件和算力能与星环的算法形成强强联合，给客户和行业带来不一样的化学反应。
据他回顾，在今年5月正式发布AI一体机前，惠普与星环的合作筹备时间长达两年。惠普主负责硬件设计，星环则充分参与了适配调优，并会提供诸如某个产品线所需硬件配置之类的建议。双方在方案审核、产品审核、开拓客户等方面做了很多共创的事，不断有项目进入落地阶段。
他分享说，惠普根植中国超过40年，秉承着“在中国，为中国”的理念，希望和星环等领先的合作伙伴携手提供好的方案和服务，帮中国行业客户解决实际需要解决的问题。
在中国，惠普建立了完整的服务体系，第一步帮助客户评估和判断需要什么样的模型、多少资金和时间，以及评估预计效果，还会考量后期维护成本、哪些企业能做模型进一步训练、如何规划产品迭代等，此时星环的优势就体现出来。
据透露，双方最近跟一家央企共同签约了战略合作协议，成为其IT合作伙伴。这家央企想建一个自有知识库，希望将自家数据进行深度学习后，能更好地解读历史经营数据。惠普和星环一起讨论做方案，为其选择合适的模型、硬件配置、部署方式及成效时间。
在中后端，惠普和星环会在模型维护、企业内部人员培训等方面做好配合，帮助客户绕过软硬件试错阶段，直接服务于客户需求。
在徐鸣看来，用好AI很具有挑战性。首先需要辅导客户如何把AI知识库匹配，把数据向量化地导入模型后训练；还要告诉用户AI怎么用的效果是最好的。如何做好问题的衔接，慢慢导入用户想要的结果，也是对AI另一种程度上的训练。
如果发现一只达不到预期效果，或者结果精度跟期待的需求是有差别，惠普和星环科技会帮客户做整体优化。
三、模型不是越大越好，垂类大模型才能有效解决业务问题
AI浪潮正推动工作站的算力越来越强、产品配置不断升级和趋于多元化，给用户更多的选择。相应的使用场景也在愈发丰富。
徐鸣提到AI PC发展至今，业界对移动化、轻量化的需求逐渐扩大。星环科技还做了很多努力，比如在原来基于塔式工作站的几千TOPS产品上做一些预训练大模型，针对惠普移动工作站能做到300TOPS，通过NPU做到45TOPS左右。
在朱珺辰看来，模型不是越大越好，而是用合适方式解决问题。
通用大模型不是针对行业或应用场景特征来专门做训练，当前还无法做到行行专精，需要基于一些特定数据对大模型做调整，包括通过将大小模型结合，来达到一些业务效果。
将垂类大模型结合企业内部核心数据知识库，可能是企业把大模型技术快速应用到实际业务中的一种有效落地方式。
面向To B市场，星环提供领域大模型，结合企业各种数据处理能力，包括企业内部的一些核心数据、对模型的优化、与小模型结合，能帮企业快速构建一个大模型应用的场景或能力。
惠普与星环还做了一些封装完大概只有7GB、8GB的本地端小模型，将原来可能将客户限定在办公桌前的大模型应用变成了能在任何地方使用的高效工具。
结语：软硬一体化，为企业搭建高效的AI大模型生产力平台
算力是企业数智化转型升级过程中的核心要素。惠普Z系列工作站用高性能AI算力硬件平台来满足企业对高效处理数据和开发大模型的需求，在此之上部署的星环科技平台，则通过提供全流程工具，帮助企业更好地解决实际业务问题。这也成为了惠普将创新AI产品与本土生态融合的又一个样本。
据徐鸣分享，惠普内部在用一套星环的私有化部署的大模型，搭配一台比较高配的工作站，灌入了惠普整个产品库中的白皮书数据。有了这样一个模型，惠普销售人员只要进入内网，就能用星环大模型获得产品相关问题的答案。惠普也将自身实际使用中的一些感受和看到的问题，第一时间向星环做反馈，共同优化。
朱珺辰相信，AI跟硬件的结合会带来很多根本性的改变，如今星环软件与惠普硬件一体化的方式只是其中一个很小的部分，基于AI技术的机器人预计将在五年内取得较显著的发展。他希望通过对一体机持续迭代，不断降低开箱即用的门槛，提升对数据处理的能力，使大模型应用能够更好地回答客户的问题。
热门跟贴