智东西
作者 李水青
编辑 云鹏
智东西7月5日报道，今日，在2024年世界人工智能大会上，蚂蚁集团推出隐语Cloud大模型密算平台，以助力大模型落地所需的高质量数据供给。
隐语Cloud大模型密算平台基于软硬件结合的可信隐私计算技术，在大模型托管和大模型推理等环节实现数据密态流转，从而保护模型资产、数据安全和用户隐私。
“数据供给决定了大模型应用能力的上限。”蚂蚁集团副总裁、首席技术安全官韦韬在论坛上说。但数据的价值越高，风险越大，韦韬认为，当下的数据流通依然面临着严峻挑战——不敢、不愿、不会。
蚂蚁集团从2016年开始探索隐私计算技术，今年5月底公布以AI和数据要素技术为核心的科技战略，随后成立浙江蚂蚁密算科技有限公司，提供密算相关的产品和服务，推动数据安全可信的跨云跨端低成本流通。
浙江蚂蚁密算科技有限公司CEO王磊在论坛中透露，隐语Cloud大模型密算平台的服务，将逐步覆盖到垂直大模型从构建到对外服务的全链路数据安全。
一、大模型催生新数据需求，隐语Cloud让数据可信流通
随着大模型应用的深入，访问信息保护的诉求会越来越强。
王磊提到，包括普通问答场景、基于重要商业数据的知识检索或生成、私人秘书等多种场景，都可能需要大模型平台去访问较私密的数据。
如果没有对数据的充分安全保护，人们则不敢去使用这些具有私密性质的数据。
行业数据的供给是大模型在各行业被广泛应用的关键。行业客户往往有一些明确需求，包括：行业数据不被人窃取，不用担心训练的模型记住了数据，模型方不会贬低数据价值等。
王磊谈道，蚂蚁推出的隐语Cloud大模型密算平台有两大特征：一是大模型密态托管，解决大模型云上部署时的IP保护问题，一是大模型密态推理，解决用户访问大模型时，用户隐私和商业机密的保护问题。
隐语Cloud大模型密算平台支持轻量化远程认证，支持三级通用安全分级，支持GPU在可信执行环境下进行计算，以及密态推理集群，具备易用性、安全性、高性能和高可用特征。
在产品形态方面，隐语Cloud大模型密算平台支持开箱即用的公有云形式，同时支持专有云形式密算科技服务，助力智算到密算的升级。
蚂蚁从两大维度打磨隐语Cloud大模型密算平台，一方面从数据标注到在线推理全链路的密算能力，一方面是多重密态计算技术防御，适用不同场景，平衡安全性和成本。
二、从通算、智算到密算，让数据像自来水一样易用
算力行业正从通算、智算走向密算。
AI推动通算走向智算，一方面算力需求突增，另一方面也陷入能耗瓶颈，这需要我们换个角度思考算力的突破。
韦韬在论坛上谈道，数据决定AI能力的上限，但数据价值具备双面性——价值越高，风险越大。当下的数据流通依然面临着严峻挑战——不敢、不愿、不会。
为此，韦韬认为，密态算力将成为数据可信流通的新算力。
全链路密态计算，可以破解规模化数据流通中风险闭环的两大难题：责任追溯和风险控制。
韦韬谈道，密态算力的提升将伴随着全栈变革，助行业突破瓶颈。当全链路密算成本低于数据流通价值5%时，即可以规模化推广。隐语Cloud支持全路线密态计算技术，平衡性能和成本需求。
密算体系将推动数据要素的高效广域可信流通，从早期的数据孤岛、数据要素点到点流通，到当下的数据要素区域化可信流通。
未来我们将见证数据要素广域可信流通，跨行业、地域和云可信互联互通，降低边际成本，从而助力千行百业数字化转型。
韦韬表示，蚂蚁集团从2016年开始探索隐私计算技术，能力涵盖了全栈可信技术、多方安全计算、联邦学习、同态加密、差分隐私、机密计算等隐私计算全谱技术域。
“我们希望联合产业合作伙伴，把蚂蚁集团多年来在密态计算技术上的探索和创新，以开源和产品化的形式对外开放，助力推动产业向前发展，为实体经济和中小微企业创造新的价值，让数据价值的流动像自来水一样即开即用。”韦韬说。
结语：全链路密态计算，助大模型破解数据供给挑战
当下，数据已成为制约AI行业应用发展的重要关键。数据可信流通是全新的技术挑战，IBM《2023年度数据泄露成本报告》显示，2023数据泄露的平均总成本达到445万美元。
王磊透露，隐语Cloud大模型密算平台的服务将逐步覆盖全链路数据安全，接下来将为垂直大模型从预训练、微调、评测、推理到用户交互的全程提供密态计算服务，促进数据可信安全流转。
平台还将提供密态大模型开发所需的全链路工具，提供的服务包括密态检索增强生成、密态提示词、Agent流程编排等。
热门跟贴