关注飞总聊IT，了解IT行业的方方面面。

最近大数据，或者说Lakehouse两强Databricks和Snowflake又要开辟新战场了。

这个事情要从Iceberg说起。

Iceberg的创始人们搞了一个公司叫Tabular。然后，他们给Iceberg搞了一个REST Catalog的Open Standard。

简单来说，REST Catalog，和我们目前用的最多的HIVE Metastore强多了，有各种好处。

这个技术问题我们就不讨论了。

Snowflake all in Iceberg以后就搞了一个自己的catalog，叫做Polaris Catalog，6月3日的时候，宣布开源了。

Polaris Catalog当然是兼容所有的Iceberg Open Standard的。

毕竟Snowflake要的就是all in Iceberg。再怎么傻，Snowflake也不可能去all in 竞争对手的Delta Lake吧。

后面发生的事情就很狗血了。

Databricks最近刚开了Data + AI Summit 2024。Databricks有几件大事。

首先是，他们宣布收购Tabular。没错，做Delta Lake的买了做Iceberg。

其次，在summit期间，Databricks也宣布开源它们的Unity Catalog。

没错，Databricks也有自己的catalog 也开源了。

当然Databricks对待Iceberg的态度，肯定不是让其茁壮成长，消灭Delta。

实际上，Delta搞了一个叫做Delta Universal Format，简称UniForm。

这东西主要的作用是给Delta的数据生成Iceberg的Metadata文件，这样Iceberg客户端就可以访问Delta Lake的数据了。

一份数据，若干份Metadata，这就是今天Delta Lake对于这几个不同format 的解决之道。

所以Unity Catalog对Iceberg的支持，走的也是这一条路，而不是Snowflake那样实现了Iceberg的这些创始人们提的Open Standard。

因此，我们客观的说，Snowflake的Polaris Catalog，是一个更纯血的Iceberg Catalog。而Databricks的Unity Catalog，除去其功能上的多样性以外，纯粹就对Iceberg的支持来说，显然，更杂交一些。

但是没关系啊，打不过还是打得过都不重要了，我已经把你给买了。Iceberg的创始人都融入到Delta Lake的公司里面去了。

所以Iceberg这个项目的未来到底会怎么样呢？是在之前Iceberg的人圈定的道路上继续发展REST Catalog，还是会被Delta Lake给融合了，最后成为Delta Universal Format的附属品呢？

如果你是Databricks的founder们，你希望Iceberg走向哪条路？

如果你是Snowflake，你又希望Iceberg走向那条路？

讲真的，Snowflake没有花大价钱，把Tabular给买了，反而让Databricks给买了，这个事情，对Snowflake来说，本身，就是棋差一着。

棋差一着，有的时候就是非常关键的一招了，有的时候这一招可能就是致命的。

也许Iceberg并没有办法作为一个独立的产品，继续沿着之前的道路发展了。相反的Databricks的影响力会进来，Delta Universal Format的这条路会被提起来。

以后不但Delta Lake可以产生Iceberg的Metadata，反之亦然。Iceberg也可以产生Delta Lake的Metadata。

所以，这个时候开源Polaris Catalog的Snowflake，毫无疑问就是吃了苍蝇一样，难受死了。

不仅仅现在难受死了，以后的日子，看起来也不会很好过。Databricks买买买还是很厉害的。

我最近写的专栏，讲职场的经验，尤其是一些其他地方不容易看到的真话，有兴趣可以订阅，24小时内可以退款。