用数据构建精益人工智能战略|人工智能|大模型|精益

组织机构可能正在收集比以往更多的数据，渴望为人工智能驱动的未来做好准备。但数据本身往往成为瓶颈，而不是推动变革性举措。海量数据集可能导致成本螺旋式上升、创新放缓和合规风险增加——当敏捷性至关重要时，这些挑战尤其危险。

尽管在云平台和人工智能方面投入了大量资金，但许多企业还是陷入了困境。传统的方式——收集一切、处理一切、建造更大——不再可持续。如果企业想在当今动荡的市场中生存和获胜，就需要一种更智能、更敏捷的数据处理方法。

精益人工智能方法

当我们谈论精益人工智能时，不仅仅意味着构建更小的模型或削减成本。关键是人工智能的精益数据——有意识地从收集和处理一切转变为只关注值得信赖、上下文相关、专为人工智能驱动的结果而构建的数据。优先考虑精简、高影响力的数据集，而不是淹没在数量和复杂性中，这些数据集可以加速创新、降低风险并提供更快的结果。

简单地说，精益人工智能意味着专注于可信的、目标驱动的数据，通过人工智能实现更快、更智能的结果，而没有当今大多数企业人工智能计划所定义的成本、复杂性和蔓延性。传统的企业人工智能往往为了自身利益而追求规模：更多的数据、更大的模型和更大的云。精益人工智能颠覆了这种模式——将质量置于数量之上，将结果置于基础设施之上，将敏捷置于工程之上。

精益人工智能策略优先考虑质量、目标驱动的数据，并简化构建人工智能（AI）和机器学习（ML）模型的过程。通过专注于减少技术债务、自动化治理和优化工作流程，企业可以在控制成本和风险的同时最大限度地提高人工智能投资——这是市场波动期间的基本能力。

“收集一切”心态的代价

一个常见的陷阱是“收集一切”的心态——假设所有数据最终都会被证明是有用的。虽然目标是保持灵活性，但现实往往适得其反，尤其是在预算压力越来越大的情况下：

成本过高：存储和处理大量数据成本高昂，在资源已经受到限制的情况下，会导致重大的技术债务。

合规风险：收集的数据量呈指数级增长，增加了监管风险，使合规要求的复杂性和违规的潜在后果成倍增加。

性能问题：当收集了太多数据时，并非所有数据都集成到一个通用的工作流程中，这使得维护和管理变得困难。冗余数据还会淹没数据模型，使其难以加载，延迟工作流程，并减少到达生产环境的模型数量。

糟糕决策：碎片化、不可信的数据集会导致不准确的模型和不可靠的见解，尤其是在市场状况迅速变化时。

根本问题不是数据量，而是缺乏战略。精益人工智能确保数据被有目标地收集、处理和使用，减少效率低下，在控制成本的同时带来更好的结果。

什么是当今市场上的精益人工智能战略？

精益人工智能战略侧重于策划针对特定业务目标量身定制的高质量、目标驱动的数据集。组织不会默认使用大量数据湖，而是不断收集数据，但会根据当前需求优先激活和操作哪些数据。较低优先级的数据可以经济高效地存档，最大限度地减少不必要的处理成本，同时保持未来使用的灵活性。

在不确定的市场环境中，精益人工智能战略凭借这些能力变得更加有价值：

结果驱动的数据激活：专注于激活与业务优先级相一致的数据，同时将其余数据归档以实现经济高效的存储。

数据产品：模块化、可重用的数据单元，具有内置的上下文、质量控制和治理。这些功能为团队提供了可信赖的、针对特定用例量身定制的业务就绪信息，使他们能够更快地应对不断变化的市场状况。

数据契约：生产者和消费者之间的正式协议，定义了质量、治理和及时性，确保只使用相关数据。

设计治理：基于角色的访问控制和元数据民主化在提高可用性的同时保护数据。

饮料公司Lobos提供了应用这些功能的示例。由于数据孤立和工作流程效率低下，Lobos转向了模块化数据产品战略，该战略优先考虑了他们用于业务决策的数据。结果包括订单周期时间缩短了51%，新客户的销售额增长了45%。这些结果突显了专注于高质量、有目标的数据集的好处，尤其是当公司需要快速适应不断变化的消费者需求和定价策略时。

敏捷治理的作用

数据治理在精益人工智能战略中起着关键作用，但应该重新构想。传统的治理框架往往通过限制准入和灵活性来减缓创新。相比之下，精益人工智能治理在保持安全性和合规性的同时提高了可用性和可访问性。正确的策略不是将治理视为限制访问的一种方式，而是通过制定基本的安全策略来改善对数据的访问。这应包括：

自动质量检查：内置机制确保只有高质量的数据才能进入模型和工作流程。

精细的访问控制：保护敏感信息而不会造成瓶颈。

去中心化治理：将治理直接嵌入到单个数据产品中，以便在没有集中开销的情况下进行大规模管理。

现代数据治理不是把数据锁起来，它是关于使可信、受管理的数据广泛可用，以便组织能够更快、更智能地移动，这是快速变化的市场中的一项基本能力。