IntaLink for dbt 已经上线 VS Code 市场。团队拿出10 个创始用户名额,提供免费使用、产品更新和直接工程支持。招募对象很明确:正在真实 dbt 项目里写 JOIN 的开发者。

打开网易新闻 查看精彩图片

入选者能拿到的东西列得很具体:

  • 约定的 IntaLink for dbt 配置,12 个月免费使用
  • 使用期内免费获得产品更新;
  • 入职引导和技术问题上的专属 1:1 工程支持;
  • 关系发现与 JOIN 难题的优先协助;
  • 直接影响后续产品方向的机会。

团队特别点名了几类人:面对复杂 schema、缺失外键、以及调查起来太费时间的 JOIN 条件的开发者。

一个能编译通过的模型,也可能算错数

dbt 模型编译成功,结果却可能是错的。举个常见的例子:要把 orders 和 order items 关联起来,但 order_id 在 items 表里出现了多次。SQL 语法没问题,JOIN 看上去也合理,可一旦在错误的粒度上做聚合,指标就会被悄悄放大。

还有些问题更隐蔽。两张表之间存在有用的关系,却没有声明外键;或者这层关系要穿过好几个模型,列名一路被改过。IntaLink for dbt 想做的事,是把关系信息带进开发流程,而不是让每个工程师从头再发现一遍。

四件事:发现关系、补全 JOIN、看证据、拦扇出

第一,写 JOIN 之前先发现关系。IntaLink Cloud 会检查经授权的数据库元数据和列值证据,识别候选关系。开发者可以在关系图里查看这些关系、审阅支撑证据,再决定哪些关系该用。VS Code 扩展消费的是这份审阅过的关系集,它不会自己去扫描数据库发现关系。

第二,在 VS Code 里给出关系感知的 JOIN 建议。在 dbt 模型里写 SQL 时,扩展能在 JOIN 之后提示相关的表或模型,也能在 ON 之后基于已有关系信息和 SQL 别名提示可用的字段条件。不用翻 schema,也不用从别的模型里复制一段 JOIN。

第三,查看关系背后的证据。工具找到的关系不等于正确,所以 IntaLink 会暴露这些信息:列值包含情况、去重值统计、推断出的关系基数、关系审阅状态。扩展还支持通过符合条件的 dbt 转换继承关系血缘,包括某些重命名、类型转换、CTE 和 ref() 链。这些能力减少调查工作,但不替代对业务含义和分析粒度的检查。

第四,捕捉潜在的 JOIN 扇出。行数翻倍是代价最高的 JOIN 错误之一:把订单粒度的模型关联到订单项粒度的模型,如果聚合粒度没处理好,订单级度量就会被重复计算。IntaLink for dbt 能标记某些非唯一的 JOIN 键,并建议在 JOIN 前确认是否需要聚合。它不自动保证查询正确,只是把风险更早地提示出来。

不要求做演示项目,带一个真实问题来

团队没有要求测试者把所有功能都试一遍,也不要求专门搭一个演示项目。只需要带一个自己拿不准的真实 JOIN 问题,可能是:没有声明外键的表、多条可能的 JOIN 路径、说不清的关系基数、意外的行数翻倍,或者一个关系难以追溯的 dbt 模型。工程团队会一起评估 IntaLink for dbt 能否让这件事变简单。团队想弄清楚的是哪些做法有效、哪些无效、流程里哪些环节仍然需要太多人工调查。

使用门槛也写清楚了:一个受支持的 dbt 项目、生成的 target/manifest.json,以及一个拥有可用审阅关系集的 IntaLink 账号。典型流程是:在 IntaLink Cloud 连接经授权的数据源,发现并审阅候选关系,把审阅过的关系集提供给扩展,在 VS Code 打开 dbt 项目并用 dbt parse 生成 manifest,然后在写 JOIN 时使用关系建议,审阅证据并排查潜在的扇出警告。创始用户计划包含针对入选者的入职协助。

名额不是先到先得。团队要选的是 10 位有真实 dbt 开发需求的开发者,申请时需要介绍自己的 dbt 项目,以及一个想调查的关系或 JOIN 难题。用他们的话说:10 个创始用户,12 个月免费,真实的 dbt JOIN 难题。